[Résolu] wget https récupère une page (chiffrée) - compressée

Plug · Le 13/03/2020, à 15:12

Bonjour,

Je n'utilise pas tous les jours wget mais là je suis un peu étonné.
Il me semblait que wget savait gérer le https (de plus en plus présent sur le web).
Je tape simplement :

root@pc-linuxshop:~# wget https://mabbox.bytel.fr

et je récupère bien un fichier index.html

Mais impossible de le lire, même dans un navigateur (il est rempli de caractères spéciaux - certainement du chiffrage) .

Quelqu'un a-t-il une idée de ce qui se passe ?

Merci

Dernière modification par Plug (Le 14/03/2020, à 22:13)

krodelabestiole · Le 13/03/2020, à 15:41

wget gère le https sans problème. donc ton problème n'est très certainement pas lié au https, mais vu que le domaine mabbox.bytel.fr pointe sûrement sur ta box bouygues et que je ne suis pas chez bouygues, aucune idée du problème que tu rencontres sans plus d'info.

tu peux éventuellement poster le contenu de ton index.html si la page ne contient pas d'info sensible.

Plug · Le 13/03/2020, à 16:36

difficile de poster le contenu d'un fichier qui n'est visiblement pas en ASCII.
Éventuellement avec une copie d'écran mais je ne vois pas bien ce que tu pourrais en tirer.

Néanmoins, si tu penses que ça peut servir dis-moi par quelle méthode tu voudrais que j'en copie le contenu (hexdump ?)

krodelabestiole · Le 13/03/2020, à 16:47

si tu affiches le code source de ta page avec un navigateur, ça n'a rien à voir ?

peut-être que la box retourne différents contenus en fonction du user-agent ?

Plug · Le 13/03/2020, à 17:45

Désolé je ne comprends pas ta question.

Affichée dans le navigateur, voilà ce que donne la page récupérée par wget :

¬ôù“"I åŽ°NÑ)Áþþ†9€i$kŒêæ£7dƒ¼!"F–PAâ†íYÅJ“L:I&=IHžÉç³â dõÙ3`È:€dÅœšP¬°2‘ƒÛ‡ís¨›dÊ.5!àîA¦b%T¢¬yNºMÈW@±0¾Cˆ¼1Ìs5ú3-jÝ‹²$Ó'ZÄO+Ý÷ªÿ¦BêDNíWàlyƒÅÑàA@³àÙÐœ§NôùN0•›îFÓó,MÉŠkÇÃÕ »qµU¨·y©Æh™$ECÎEÒ$½uãÙleQ¡5ùALKäfÿÃÛEâœè¸;àÈ²Ð$t8Ñ#‡ß|ôlR»A±b+Þ¢ ¶ÍÑ,ÿ©Å `á °J8:FÄ.'HýPH†ð’kNÝäŠˆP#çN”x%`uÍÛ°mˆ˜êy·“Ck±çõòºŒŽ¹ÐØ]ädX1¿9ÆH•ˆ'«(F6@ã¦¸þzt,§Ò†eüéüG€ƒ/¡¦v†à8¨(9×RN¦i—Ì5Rœºh¾GÚGï‘öñ/¦½j1¼\j°Ed)Y˜©¨…æå²µLÚn1÷U V)iéíúÁýk@ê„áÙ™˜ ¥íŠ¬›fÅs¢¹ÖŒ'Ms…Qkxº7ÝâÇáÛ8ãuÁf°ŠêºæÍ†)Ú_Á©‚ó1PèßÛ£ Žù·ô£ŠÉÊ…Ã+.í‹LŸo„šHtÂ(‘7kÐð…@ŒT+)’5B>å¤üÖ']sD%½HYrùxrj£&°½Ø]st˜o(ƒ&çðKroä9‹áWüÒý œá°[„ÞN

Avec quoi voudrais-tu comparer ça pour dire si ça a à voir avec autre chose ? ? ?

C'est typiquement du chiffré et par définition le chiffré n'a rien à voir avec le clair.

Pour moi c'est donc wget qui ne fait pas le boulot (ou alors il lui faut un paramètre supplémentaire...)

krodelabestiole · Le 13/03/2020, à 22:22

ça peut être chiffré ou compressé, je miserai plutôt sur la 2e option.
ceci dit je vois pas comment un certificat valide pourrait être installé sur ce domaine.

quel est le retour de :

curl -I https://mabbox.bytel.fr

Plug · Le 13/03/2020, à 23:28

Heu... de mémoire, quand on a un certificat "maison" wget renvoi un message d'erreur.
Il me semble qu'on peut alors contourner le problème avec une option de wget.

En l'occurrence, là je n'ai aucun message d'erreur.

Qu'est-ce qui te fait penser que ça pourrait être du compressé ?

krodelabestiole · Le 13/03/2020, à 23:51

la plupart des serveurs web compressent les données. les navigateurs les décompressent automatiquement, j'aurai supposé que wget aussi mais peut-être pas toujours. tu donnes le retour de curl ?

Plug · Le 14/03/2020, à 05:56

Bravo, tu avais vu juste.

root@pc-linuxshop:~# curl -I https://mabbox.bytel.fr
HTTP/1.1 307 Temporary Redirect
Location: /login.html
Content-Language: fr
Content-Encoding: gzip
Date: Sat, 14 Mar 2020 04:51:21 GMT
Server: Lighttpd

Du coup, existe-t-il une option pour dézipper "à la volée" (comme le fait le navigateur) ?

krodelabestiole · Le 14/03/2020, à 08:41

il existe bien une option --header="accept-encoding: gzip"

wget --header="accept-encoding: gzip" https://mabbox.bytel.fr

mais en principe cette option est plutôt sensée autoriser le téléchargement du gzip, et donc à obtenir le fichier compressé, ce que fait visiblement déjà ton wget...
ça peut être le serveur qui force la compression du contenu, ou alors tu as peut-être modifié le fichier /etc/wgetrc ou créé un fichier ~/.wgetrc qui change les options par défaut ?

éventuellement tu peux regarder si tu as le même comportement sur https://wordpress.com qui retourne aussi du gzip :

wget -S --header="accept-encoding: gzip" https://wordpress.com

devrait retourner un contenu compressé, tandis que :

wget -S https://wordpress.com

devrait retourner un contenu clair.

en l'occurrence pour résoudre le problème tu peux soit essayer de vérifier côté options de wget et paramètres du serveur, soit décompresser manuellement :

wget -O- https://mabbox.bytel.fr | gzip -cdf > index.html

Plug · Le 14/03/2020, à 22:10

C'est ça, on a bien :

du clair sans l'option
du compressé avec

Mais du coup je vois pas trop pourquoi ma box renvoi du gzip alors que je ne mets pas l'option (?)
Je passe quand même en résolu...
En te remerciant

krodelabestiole · Le 15/03/2020, à 09:25

contrairement à ce que j'ai supposé en #8, wget ne décompresse jamais automatiquement le contenu, par contre il permet d'indiquer au serveur si il accepte le gzip ou pas, et en fonction, un serveur bien configuré envoi le contenu compressé ou brut.

ici lighttpd ne semble pas prendre en compte ce qu'accepte, ou pas, le client (wget), et envoie du gzip dans tous les cas.

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 13/03/2020, à 15:12

[Résolu] wget https récupère une page (chiffrée) - compressée

#2 Le 13/03/2020, à 15:41

Re : [Résolu] wget https récupère une page (chiffrée) - compressée

#3 Le 13/03/2020, à 16:36

Re : [Résolu] wget https récupère une page (chiffrée) - compressée

#4 Le 13/03/2020, à 16:47

Re : [Résolu] wget https récupère une page (chiffrée) - compressée

#5 Le 13/03/2020, à 17:45

Re : [Résolu] wget https récupère une page (chiffrée) - compressée

#6 Le 13/03/2020, à 22:22

Re : [Résolu] wget https récupère une page (chiffrée) - compressée

#7 Le 13/03/2020, à 23:28

Re : [Résolu] wget https récupère une page (chiffrée) - compressée

#8 Le 13/03/2020, à 23:51

Re : [Résolu] wget https récupère une page (chiffrée) - compressée

#9 Le 14/03/2020, à 05:56

Re : [Résolu] wget https récupère une page (chiffrée) - compressée

#10 Le 14/03/2020, à 08:41

Re : [Résolu] wget https récupère une page (chiffrée) - compressée

#11 Le 14/03/2020, à 22:10

Re : [Résolu] wget https récupère une page (chiffrée) - compressée

#12 Le 15/03/2020, à 09:25

Re : [Résolu] wget https récupère une page (chiffrée) - compressée

Pied de page des forums