Extraire les donn�es selon la m�thode du web scraping

**sarra216** · 07/10/2018, 12h41

**Sve@r** · 07/10/2018, 13h46

Bonjour

La majeure partie de tes URL sont invalides. J'en ai toutefois trouv� deux https://www.cofundy.com/projects/565...497e89ca/jwebi et https://www.cofundy.com/projects/6fd...lidarite-maroc mais elles m�nent sur une description je ne vois pas, dans ces pages, quelles donn�es tu veux extraire.

Envoy� par sarra216

je n'ai aucune connaissance en informatique.

Ah ben c'est pas gagn� alors. Parce que quoi qu'il arrive, "aider" ne veut pas dire "faire le boulot � ta place".

**sarra216** · 08/10/2018, 11h18

Bonjour,
le prb qui se pose c'est que je dois extraire les donn�es depuis les URL invalides, car Cofundy cache les projets �chou�s. je les ai trouv� sur leur page fb officiel au moment de la collecte de fonds. Concernant les URL qui fonctionnent, le d�but de la collecte n'est pas mentionn�, je ne peux donc pas calculer la dur�e de la compagne de collecte et aussi je dois savoir si un individus � contribuer dans le palier le plus �lev� et rien n'est publi�. En fait apr�s des recherches j'ai pu extraire certaines donn�es de 8 projets mais je ne suis pas sure quant � la exactitude de certaines variables. C'est la raison pour la quelle j'ai demand� votre aide. J'ai consult� plusieurs ing�nieurs en informatique mais aucun n'as pu m'aider.

**Supernul** · 08/10/2018, 11h36

En gros tu nous demandes de l'aide pour hacker une base de donn�es � laquelle seule la plateforme � acc�s et qui contiendrait des informations sur les contributeurs

. C'est ill�gal. Tu dois demander l'accord � la plateforme pour avoir acc�s � la base de donn�es anonymis�e. Normal que tu n'aies pas trouver d'aide. Je pense que tu n'en auras pas non plus ici.

**sarra216** · 08/10/2018, 12h17

Je ne pensais pas que c'�tais ill�gale, les donn�es ont �t� publi� au moment de la collecte, mais une fois la date pass� la plateforme change les URL et publie les donn�es souhait� et masque aux internautes les projets �chou�s. De plus, j'ai trouv� cette m�thode dans un m�moire d'un �tudiant fran�ais https://dumas.ccsd.cnrs.fr/dumas-01092302/document ( page 32). les ing�nieurs que j'ai consult� ne sont pas experts dans le langage python personne ne m'as pr�venu que c'est ill�gale. En tout cas merci de m'avoir r�pondu et inform� de cela.

**lg_53** · 08/10/2018, 14h38

Il vous faut s�parer les taches et les probl�mes. Faire du webscrapping pour r�cup�rer des infos sur un site � une url donn�es est une chose, et c'est l�gale. Faire une liste d'URL toutes valides pour votre projet en est une autre. Que le site donnent acc�s � des infos et coupe cette acc�s suite � un �v�nement (comme l'�chec du projet par exemple) alors ca s'en est encore un autre. Et soit le site laisse les infos mais les changent d'adresse (donc l�, � vous de trouvez ces adresses, et dans ce cas ce n'est pas que le site coupe l'info, mais il l'archive en changeant l'url), soit le site coupe vraiment l'info et � part leur demander l'autorisation ou l'acc�s � ces infos effectivement vous n'aurez rien (et tout moyen d�tourn� qui vous donnerais qqch en effet est ill�gal).

Apr�s rien ne vous emp�che de lancer votre script r�guli�rement (quotidiennement?) sur les projets disponibles du moment. Comme ca quand un projet ferme, et bien vous l'avez gardez vous en m�moire de votre c�t�. C'est ce qui semble avoir �t� fait dans le stage du le lien que vous donn�.

**Supernul** · 08/10/2018, 15h39

Merci � lg_53 qui clarifie mon message.

Concernant le webscrapping, il faut aussi v�rifier les conditions. Par exemple o'reilly accepte la pratique si un d�lai de 30 secondes est respect� entre deux url test�es. Dans certains cas, ne pas rester cette condition peut �tre consid�rer comme ill�gal.

**BufferBob** · 09/10/2018, 10h10

salut,

Envoy� par sarra216

Je ne pensais pas que c'�tais ill�gale

comme indiqu� par la suite, �a n'est absolument pas ill�gal

en revanche il est toujours de bon ton d'aller lire les conditions g�n�rales d'utilisation ("CGU" ou "ToS" en anglais) pour voir s'il n'est pas explicitement pr�cis� que les robots et/ou traitements automatis�s sont interdits
par ailleurs le site peut parfois fournir une API pour acc�der facilement � ses donn�es (et cette API imposer un timeout pour �viter de se faire inonder de requ�tes)

en l'occurrence sur CoFundy il n'y a rien qui met en garde contre l'utilisation d'un robot ou le fait de scraper tout ou partie du site

en analysant rapidement la page discover o� sont list�s tous les projets, d�j� on remarque que des projets il y en a 17, pas un de plus, donc au pire et dans ce cas tr�s pr�cis �a peut �ventuellement se r�cup�rer directement � la main, �a prend 5 min max.
mais en admettant que l'on veuille automatiser tout �a, on se rend compte que le bouton "charger plus de projets" r�clame au serveur une URL du style :

Code :

S�lectionner tout - Visualiser dans une fen�tre � part

https://www.cofundy.com/project/load-more/SUCCEEDED/4/4

et l� �a devient plus simple; les deux derniers num�ros dans l'url correspondent respectivement au num�ro du projet et au nombre de r�sultats � renvoyer, ainsi la requ�te https://www.cofundy.com/project/load-more/SUCCEEDED/8/4 va r�cup�rer les 4 prochains projets (la deuxi�me page), et si on l'on r�clame directement https://www.cofundy.com/project/load-more/SUCCEEDED/0/100 on r�cup�re d'un seul coup les 100 premiers projets, ce qui ici est largement suffisant

ce que l'on r�cup�re (donc avec curl, wget ou autre script python) c'est du HTML, dans lequel on remarque une structure r�currente du style :

Code HTML :

S�lectionner tout - Visualiser dans une fen�tre � part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
<div class="col-sm-3 margin-bottom30">
   <div class="project-item small-project">
      <div class="project-thumbnail small-thumbnail">
         <a href='/projects/7694ac5d-b900-4e9d-a6b4-c382541f2a14/le-lemon-tour--se-deplacer-autrement-pour-visiter-differemment--'>
         <img src="https://api.particeep.com/document/b5f5490b-7b58-4f71-ac26-e9fe40419233" alt="Le Lemon tour, se déplacer autrement pour visiter différemment !">
         <div class="project-image-hover">
            <div class=project-image-hover_content>
               <span>Voir le projet</span>
            </div>
         </div>
         </a>
      </div>
   <div class="project-content">
      <h5 class="project-title"><a href='/projects/7694ac5d-b900-4e9d-a6b4-c382541f2a14/le-lemon-tour--se-deplacer-autrement-pour-visiter-differemment--'>Le Lemon tour, se déplacer autrement pour visiter différemment !</a></h5>
      <p class="project-description">Participez au Lemon Tour, visite de découverte à vélo du patrimoine tunisien d&#x27;hier et d&#x27;aujourd&#x27;hui!</p>
   </div>
   <div class="project-footer">
      <div class="project-infos">
         <!-- If is RUNNING -->
         <div class="text-center">
            <p class="nomargin-bottom"><b>Projet financé avec succès</b></p>
            <p>Montant levé : 6*085 €</p>
         </div>
      </div>
   </div>
</div>

reste � isoler dans ce code HTML les donn�es qui nous int�ressent, le module BeautifulSoup est un candidat de choix, un bref exemple :

Code :

S�lectionner tout - Visualiser dans une fen�tre � part

1
2
>>> [i.text for i in soup.find_all(attrs={'class': 'project-title'})]
['Le Lemon tour, se dÃ©placer autrement pour visiter diffÃ©remment !', 'Festival des Arts Urbains "JAM Session #4"', 'CimetiÃ¨re pour les migrants', 'Exclusive Tunisia', 'Maternelle Afoulki', "Sourires d'enfants", 'Codesol Artisanat Kabyle', 'C.A.T.S', 'Darna', 'La rÃ©volution en laine', 'Espoir de vacances', 'Dembe', 'Tous pour la Rachidia', 'Ecole ChafaÃ¯', 'Les roses de la thyroÃ¯de', 'SolidaritÃ© Maroc', 'Jwebi']

Extraire les donn�es selon la m�thode du web scraping

Python

Discussions similaires

Partager

Partager