Contenu | Rechercher | Menus

Annonce

Ubuntu-fr vend de superbes t-shirts et de belles clés USB 32Go
Rendez-vous sur la boutique En Vente Libre

Si vous avez des soucis pour rester connecté, déconnectez-vous puis reconnectez-vous depuis ce lien en cochant la case
Me connecter automatiquement lors de mes prochaines visites.

À propos de l'équipe du forum.

#1 Le 08/08/2019, à 22:43

rpasionaria

Programmer l'exécution de Web Scraper

Bonjour,

Je souhaite récupérer chaque jour les valeurs de certaines actions sur Boursorama.
Je me suis donc intéressé au scraping et j'ai utilisé l'extension Chrome Web Scraper. J'arrive au résultat que je souhaite avec un fichier .csv généré.

Du coup, maintenant il faudrait que je programme l'exécution de cette requête chaque jour (pour avoir un fichier .csv par jour). La version payante de Web Scraper le permet mais je me dis qu'il doit bien y avoir un autre moyen d'exécuter cette requête?

Autant vous dire que je ne connais rien aux langages de programmation mais cela ne me fait pas peur de mettre les mains dans le cambouis.

Merci pour votre aide

Hors ligne

#2 Le 14/01/2020, à 17:40

franzala

Re : Programmer l'exécution de Web Scraper

Bonjour,

as-tu trouvé une solution à ton problème? Je cherche à faire à peu près la même chose sur un sited'annonces et je n'y connais rien non plus pour le moment mais je suis également prêt à mettre les mains dans le cambouis.

Hors ligne

#3 Le 20/01/2020, à 21:26

moths-art

Re : Programmer l'exécution de Web Scraper

@franzala :

Le mieux est d'utiliser un langage pas trop compliqué tel que python avec une bibliothèque tel que scrapy : https://scrapy.org/
Si c'est périodique, le mieux est d'utiliser un CRON qui va piloter ton script. (tous les jours par exemple)

Hors ligne

#4 Le 21/01/2020, à 11:10

Théophile.S

Re : Programmer l'exécution de Web Scraper

Bonjour,
J'ai une question également concernant web scraper :
Je souhaite récupérer des données sur un site qui a des menus déroulants ("plus de résultats") cependant je n'arrive pas à créer le bon selector pour qu'il agisse sur ce menu déroulant et aille me chercher l'ensemble des résultats de la liste.
Quelqu'un aurait-il la solution?
Je vous remercie.

Hors ligne

#5 Le 21/01/2020, à 22:10

toitoinebzh

Re : Programmer l'exécution de Web Scraper

moths-art a écrit :

@franzala :

Le mieux est d'utiliser un langage pas trop compliqué tel que python avec une bibliothèque tel que scrapy : https://scrapy.org/
Si c'est périodique, le mieux est d'utiliser un CRON qui va piloter ton script. (tous les jours par exemple)


je découvre scrapy, sinon, il y a beautifulsoup qui est pas mal aussi

Hors ligne

#6 Le 22/01/2020, à 16:10

moths-art

Re : Programmer l'exécution de Web Scraper

Théophile : c'est difficile de te répondre sans que tu nous donne un cas pratique.

Je n'utilise pas web scraper mais je l'ai installé par curiosité.

Quand on fait du scrapping, souvent, les trucs construis via des appels "asynchrones" (ajax) sont difficile à reproduire. Vu que webscrapper s'appui sur le navigateur, il a peut-être la possibilité de contourner certaines limitations mais je reste sceptique.

Hors ligne