#1 Le 08/08/2019, à 21:43
- rpasionaria
Programmer l'exécution de Web Scraper
Bonjour,
Je souhaite récupérer chaque jour les valeurs de certaines actions sur Boursorama.
Je me suis donc intéressé au scraping et j'ai utilisé l'extension Chrome Web Scraper. J'arrive au résultat que je souhaite avec un fichier .csv généré.
Du coup, maintenant il faudrait que je programme l'exécution de cette requête chaque jour (pour avoir un fichier .csv par jour). La version payante de Web Scraper le permet mais je me dis qu'il doit bien y avoir un autre moyen d'exécuter cette requête?
Autant vous dire que je ne connais rien aux langages de programmation mais cela ne me fait pas peur de mettre les mains dans le cambouis.
Merci pour votre aide
Hors ligne
#2 Le 14/01/2020, à 16:40
- franzala
Re : Programmer l'exécution de Web Scraper
Bonjour,
as-tu trouvé une solution à ton problème? Je cherche à faire à peu près la même chose sur un sited'annonces et je n'y connais rien non plus pour le moment mais je suis également prêt à mettre les mains dans le cambouis.
Hors ligne
#3 Le 20/01/2020, à 20:26
- moths-art
Re : Programmer l'exécution de Web Scraper
@franzala :
Le mieux est d'utiliser un langage pas trop compliqué tel que python avec une bibliothèque tel que scrapy : https://scrapy.org/
Si c'est périodique, le mieux est d'utiliser un CRON qui va piloter ton script. (tous les jours par exemple)
Site : https://mothsart.github.io Dépôts Git : https://github.com/mothsart PPAs : https://launchpad.net/~jerem-ferry
Hors ligne
#4 Le 21/01/2020, à 10:10
- Théophile.S
Re : Programmer l'exécution de Web Scraper
Bonjour,
J'ai une question également concernant web scraper :
Je souhaite récupérer des données sur un site qui a des menus déroulants ("plus de résultats") cependant je n'arrive pas à créer le bon selector pour qu'il agisse sur ce menu déroulant et aille me chercher l'ensemble des résultats de la liste.
Quelqu'un aurait-il la solution?
Je vous remercie.
Hors ligne
#5 Le 21/01/2020, à 21:10
- toitoinebzh
Re : Programmer l'exécution de Web Scraper
@franzala :
Le mieux est d'utiliser un langage pas trop compliqué tel que python avec une bibliothèque tel que scrapy : https://scrapy.org/
Si c'est périodique, le mieux est d'utiliser un CRON qui va piloter ton script. (tous les jours par exemple)
je découvre scrapy, sinon, il y a beautifulsoup qui est pas mal aussi
Hors ligne
#6 Le 22/01/2020, à 15:10
- moths-art
Re : Programmer l'exécution de Web Scraper
Théophile : c'est difficile de te répondre sans que tu nous donne un cas pratique.
Je n'utilise pas web scraper mais je l'ai installé par curiosité.
Quand on fait du scrapping, souvent, les trucs construis via des appels "asynchrones" (ajax) sont difficile à reproduire. Vu que webscrapper s'appui sur le navigateur, il a peut-être la possibilité de contourner certaines limitations mais je reste sceptique.
Site : https://mothsart.github.io Dépôts Git : https://github.com/mothsart PPAs : https://launchpad.net/~jerem-ferry
Hors ligne