[Résolu] wget ne récupère pas la page web

geneyop · Le 03/04/2022, à 15:18

Bonjour,

Je cherche à récupérer la page web suivante avec wget : https://citymapper.com/paris/bus/stops/ … ntrouge_NE
Je lance donc la commande suivante :

wget --output-document='Horaires.html' 'https://citymapper.com/paris/bus/stops/ParisStop_MairieDeMontrouge_NE'

mais le fichier téléchargé ne contient pas les informations qui s'affichent quand on ouvre la même page depuis firefox.

Y a-t-il une option supplémentaire à fournir à wget ?

Merci d'avance de votre aide.

Dernière modification par geneyop (Le 04/04/2022, à 00:22)

erresse · Le 03/04/2022, à 16:04

Bonjour,
J'ai fait l'essai de téléchargement avec la commande que tu as listée. Elle semble fonctionner et on obtient un fichier de quelques 2~3Mo.
Apparemment le fichier téléchargé contient bien les informations mais il refuse de s'afficher dans une fenêtre de Firefox. L'écran reste blanc...

ylag · Le 03/04/2022, à 16:18

Bonjour,

Au risque de dire un grosse bêtise, c'est peut-être lié à ceci :
Page web dynamique
...versus :
Page web statique

?

Dernière modification par ylag (Le 03/04/2022, à 16:19)

geneyop · Le 03/04/2022, à 17:06

Bonjour,
Oui, la commande wget crée bien un fichier HTML de 2 à 3 Mo, mais ce fichier ne contient pas les horaires qui sont affichés avec Firefox.
Et, comme le dit ylag, il s'agit en effet d'une page web dynamique. C'est certainement là le problème : comment faire pour que wget télécharge une page dynamique ?

Watael · Le 03/04/2022, à 17:42

utilise cette adresse avec wget
en plus d'être plus à jour.

geneyop · Le 03/04/2022, à 19:10

Merci Watael, ça pourrait être une bonne idée. Sauf que la ligne de bus qui m'intéresse (475) n'y est pas car il n'est pas géré par la RATP.

Watael · Le 03/04/2022, à 19:24

alors, change de ligne.

chromium --headless --dump-dom 'https://citymapper.com/paris/bus/stops/ParisStop_MairieDeMontrouge_NE' >/tmp/maireiMontrouge_NE.html

il semble que le citymapper reprenne simplement les informations* du PDF de SQY.

Dernière modification par Watael (Le 03/04/2022, à 20:46)

geneyop · Le 03/04/2022, à 21:47

Merci encore Watael pour cette suggestion.
En vérité, il y avait quelque chose que je n'avais pas dit (pour ne pas compliquer le post), c'est que ma commande doit tourner sur une Raspberry Pi Zero, donc avec très peu de ressource de calcul. C'est pourquoi j'aimerais passer par un outil simple comme wget plutôt que de lancer tout un navigateur.
Désolé de ne pas avoir été plus clair dès le départ...

Watael · Le 03/04/2022, à 22:10

ni wget, ni curl, et aucun navigateur en mode texte, ne gèrent le javascript.

il n'y a q'elinks qui supporte JS, mais il faut le compiler soi-même pour ça.

beuguissime · Le 03/04/2022, à 22:19

Bonsoir,
J'obtiens ça

wget -U "Mozilla" -q -O - "https://citymapper.com/api/1/departures?headways=1&ids=ParisStop_MairieDeMontrouge_NE&region_id=fr-paris" | jq .stops[0].services[0].next_departures

ce qui donne maintenant

[
  "2022-04-04T06:17:00+02:00",
  "2022-04-04T06:47:00+02:00"
]

Il faut installer jq

Watael · Le 03/04/2022, à 22:37

\o/ bravo \o/

beuguissime · Le 03/04/2022, à 22:49

Waouh, les bravos de Watael

Watael · Le 03/04/2022, à 23:05

l'API n'est pas paramétrable pour obtenir du texte ?

beuguissime · Le 03/04/2022, à 23:36

C'est-à-dire? Le json complet contient plusieurs champs mais je n'extrais que les heures des 2 prochains passages.

Watael · Le 03/04/2022, à 23:50

l'adresse demande une page qui exécute une API (contrairement à l'adresse donnée par geneyop
.
peut-être, cette API possède-t-elle un paramètre, qui afficherait du texte, plutôt que du JSON, et qui pourrait être traité en shell ?

geneyop · Le 03/04/2022, à 23:55

Whouahhh !
Bravo en effet.
Merci beaucoup Beuguissime.
Et, pour info, comment as-tu fait pour trouver cette nouvelle adresse ?

beuguissime · Le 03/04/2022, à 23:59

Ah d'accord.
Je ne sais pas, la page donnée par geneyop appelle cette API. Je ne pense pas que ça a un intérêt pour les dev de prévoir ce cas car le JSON est plus facilement analysable grammaticalement que du texte. Une possibilité offerte par les API est de permettre de choisir les champs retournés mais je ne sais pas si cette API le permet ni quel serait le paramètre correspondant.
Là, on peut toujours ajouter [] à la fin de la commande que je propose et on n'obtient que deux lignes de texte, une pour chaque heure de passage.

beuguissime · Le 04/04/2022, à 00:02

geneyop a écrit :

Whouahhh !
Bravo en effet.
Merci beaucoup Beuguissime.
Et, pour info, comment as-tu fait pour trouver cette nouvelle adresse ?

J'ai ouvert la console de débogage de Firefox et j'ai chargé la page que tu cites. Ensuite, il fallait un peu démêler les liens utiles des inutiles (dans l'onglet Réseau/Network). Rien ne disait que ça allait être fructueux.

geneyop · Le 04/04/2022, à 00:21

En effet, c'était une bonne idée.
Merci encore pour ton aide.

Watael · Le 04/04/2022, à 00:23

beuguissime a écrit :

Je ne pense pas que ça a un intérêt pour les dev de prévoir ce cas car le JSON est plus facilement analysable grammaticalement que du texte.

quand même, parser du texte sans devoir recourir à un programme externe, c'est bien plus simple !
au moins, plus "direct" !

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 03/04/2022, à 15:18

[Résolu] wget ne récupère pas la page web

#2 Le 03/04/2022, à 16:04

Re : [Résolu] wget ne récupère pas la page web

#3 Le 03/04/2022, à 16:18

Re : [Résolu] wget ne récupère pas la page web

#4 Le 03/04/2022, à 17:06

Re : [Résolu] wget ne récupère pas la page web

#5 Le 03/04/2022, à 17:42

Re : [Résolu] wget ne récupère pas la page web

#6 Le 03/04/2022, à 19:10

Re : [Résolu] wget ne récupère pas la page web

#7 Le 03/04/2022, à 19:24

Re : [Résolu] wget ne récupère pas la page web

#8 Le 03/04/2022, à 21:47

Re : [Résolu] wget ne récupère pas la page web

#9 Le 03/04/2022, à 22:10

Re : [Résolu] wget ne récupère pas la page web

#10 Le 03/04/2022, à 22:19

Re : [Résolu] wget ne récupère pas la page web

#11 Le 03/04/2022, à 22:37

Re : [Résolu] wget ne récupère pas la page web

#12 Le 03/04/2022, à 22:49

Re : [Résolu] wget ne récupère pas la page web

#13 Le 03/04/2022, à 23:05

Re : [Résolu] wget ne récupère pas la page web

#14 Le 03/04/2022, à 23:36

Re : [Résolu] wget ne récupère pas la page web

#15 Le 03/04/2022, à 23:50

Re : [Résolu] wget ne récupère pas la page web

#16 Le 03/04/2022, à 23:55

Re : [Résolu] wget ne récupère pas la page web

#17 Le 03/04/2022, à 23:59

Re : [Résolu] wget ne récupère pas la page web

#18 Le 04/04/2022, à 00:02

Re : [Résolu] wget ne récupère pas la page web

#19 Le 04/04/2022, à 00:21

Re : [Résolu] wget ne récupère pas la page web

#20 Le 04/04/2022, à 00:23

Re : [Résolu] wget ne récupère pas la page web

Pied de page des forums