[Tuto] Rapatrier un site web entier en UNE ligne de commande

pabix · Le 23/11/2006, à 16:33

Mise en garde : ce forum ne doit PAS être aspiré automatiquement sous peine de mise de votre adresse IP en liste noire. NE TESTEZ PAS CE SCRIPT SUR LE FORUM UBUNTU-FR. L'aspiration de site doit respecter une certaine éthique et doit être utilisée uniquement lorsqu'il y a un besoin d'accéder à certains contenus hors lignes. À réserver à des sites légers.

Bonjour !

Le titre en disant suffisamment long :

wget -r -l5 -k -E "http://www.l_adresse_du_site.a_recuperer.com"

Explication :

-r : récursif sur le site
-l5 : cinq niveaux de récursion au maximum
-k : convertir les destinations des liens pour une lecture locale
-E : convertir les types de fichier au format HTML (pour éviter que la lecture de sites en PHP ne foire en lecture sous Firefox).

Limitations

Ce tutoriel ne marchera pas sur tous les sites (par exemple les sites dont une partie du contenu est générée par du Javascript ou en AJAX, ou grâce à Flash). wget suivra uniquement les liens <a href="…">…</a>dans les sources html des pages web.

---------

Pour aller plus loin.

Si vous voulez plus d’options, la page de manuel de wget est pleine d’infos utiles, voici des options très intéressantes :
-t : spécifier combien de fois que wget devrait essayer de télécharger chaque fichier.
-w : spécifier combien de temps attendre entre les essais
-c : demander à wget de continuer un téléchargement interrompu.
-T : spécifier au bout de combien de secondes sans réponse wget abandonne une connexion
--limit-rate : mettre une vitesse de connexion maximale pour ne pas monopoliser votre bande passante
-Q : limiter la place que prendront tous les fichiers téléchargés, pour ne pas trop remplir votre disque dur. Dès qu’à la fin d’un téléchargement le quota sera dépassé, wget s’arrêtera
--load-cookies : importer des cookies (pratique pour les sites où vous devriez être authentifié)
-X : exclure un répertoire

Amusez-vous bien !

---------
Je veux les sources des fichiers PHP
Ce n’est possible que si vous gérez le site web. Si vous avez un accès en FTP aux fichiers, utilisez curlftpfs ou alors lftp comme ceci : (exemple avec ftpperso.free.fr)
1. Créez un fichier .netrc dans votre répertoire personnel, contenant les informations suivantes :

machine ftpperso.free.fr
login votre_login_sur_le_serveur_ftp
password votre_mot_de_passe_sur_le_serveur_ftp

2. Tapez « chmod 400 ~/.netrc » pour que le fichier ne soit lisible que par vous.
3. Positionnez-vous dans le répertoire où rapatrier votre site, tapez « lftp ftpperso.free.fr » ; vous aurez un prompt du genre « lftp votre_login_sur_le_serveur_ftp@ftpperso.free.fr:~> » : tapez

mirror . .

C’est bon. Quand lftp aura tout fini, tapez « exit » ou Ctrl-D.

Benoit

Dernière modification par pabix (Le 27/11/2008, à 10:32)

eclipse · Le 23/11/2006, à 17:33

oh la vache ! cest géniale !!!!
je suis en train de gober le site d'apple

je me posais la kestion de savoir si on pouvait revenir d'un niveau ... par exemple
j'ai tapé la commande avec comme adresse : http://www.apple.com/fr
mais défois sur le site d'apple, béh y a besoin de revenir, www.apple.com avec des pages en anglais... apparemment on peut pas
je vais pas télécharger TOUTES les pages des langues que je veux po !!!!

Merci à toi

pabix · Le 23/11/2006, à 17:41

"man wget" est ton ami, mais c'est en anglais

regarde l'option -X

Benoit

PS. Tu risques de mettre du temps, pour le site d'Apple.

eclipse · Le 23/11/2006, à 17:46

pabix a écrit :

"man wget" est ton ami, mais c'est en anglais
regarde l'option -X
Benoit
PS. Tu risques de mettre du temps, pour le site d'Apple.

mdrrrrrrrrrrrrrrrr g vu que cest long !

eclipse · Le 23/11/2006, à 21:12

juste pour dire que le rapatriment du site d'apple est tres long !!!!
j'ai commencé vers 17h30 et cest pas finis ! j'en suis preske à 400 Mo

je sais po si je dois arreter ou continuer, mais juste par curiosité, je vais laisser faire, je verrais bien à koi ca ressemblera

soupaloignon · Le 23/11/2006, à 22:12

Génial comme ligne de commande, merci pour cette info

pabix · Le 24/11/2006, à 11:01

De rien !

Mathieu11 · Le 24/11/2006, à 11:05

Salut.
@pabix :
Coincidence marrante, hier soir je me suis intéressé à la même commande que toi.
Je voulais mettre en place un script nautilus pour le rappatriement de site dans le dossier où l'on se trouve.
Le script est en place mais j'ai besoin d'aide pour mettre en place une finition graphique.
Si toi ou quelqu'un d'autre s'y connait ce serait gentil de m'aider ICI
Merci d'avance

pabix · Le 24/11/2006, à 18:27

eclipse : ça a terminé, maintenant ?

Benoit

eclipse · Le 24/11/2006, à 19:02

mdrrrrr
g abandonné
cest genre beaucoup de fichiers... pis je me demande si le truc, il repasse pas, écriture par dessus des fichiers quand il va sur des zones en-fr-it si tu vois ce que je veux dire ... je dois avoir 500 Mo que je regarderais à l'ocasion.... il a est passé partout la vache !!! meme sur les zones "supports" des différentes sections

un truc de fou !!!

tiens si quelqu'un a envie de tenter avec micrisoft.fr...

Dernière modification par eclipse (Le 24/11/2006, à 19:03)

matigol · Le 25/11/2006, à 19:10

Simple question :

ça sert à quoi ??

TizeN · Le 25/11/2006, à 20:40

À avoir un contenu hors-ligne, pour pouvoir par exemple garder de la documentation sur un wiki en mode hors-ligne quand t'as un problème en déplacement c'est bien pratique si t'as pas de wifi .

eclipse · Le 25/11/2006, à 20:53

matigol a écrit :

Simple question :
ça sert à quoi ??

code source ... les layouts

gilir · Le 25/11/2006, à 20:57

C'est génial pour faire tomber les serveurs aussi Sur le site d'apple ça pose pas de problème mais sur des sites plus modestes, je suis par sur que le proprio apprécie

Dernière modification par gilir (Le 25/11/2006, à 20:57)

thx_84 · Le 25/11/2006, à 21:23

merci pour l'astuce...

AlexandreP · Le 25/11/2006, à 22:04

eclipse a écrit :

matigol a écrit :
Simple question :
ça sert à quoi ??

code source ... les layouts

Merci la propriété intellectuelle

gilir a écrit :

C'est génial pour faire tomber les serveurs aussi Sur le site d'apple ça pose pas de problème mais sur des sites plus modestes, je suis par sur que le proprio apprécie

+1

naholyr · Le 26/11/2006, à 00:58

C'est dingue d'être aussi négatif les gars...

TizeN a écrit :

À avoir un contenu hors-ligne, pour pouvoir par exemple garder de la documentation sur un wiki en mode hors-ligne quand t'as un problème en déplacement c'est bien pratique si t'as pas de wifi .

Il y en a au moins un qui a compris l'intérêt de l'aspiration d'un site...

gilir · Le 26/11/2006, à 01:20

naholyr a écrit :

C'est dingue d'être aussi négatif les gars...

http://forum.ubuntu-fr.org/viewtopic.php?id=36588

Louis XVI with a gun · Le 26/11/2006, à 08:43

gilir a écrit :

naholyr a écrit :
C'est dingue d'être aussi négatif les gars...
http://forum.ubuntu-fr.org/viewtopic.php?id=36588

je pensais à la même chose hier en voyant ce sujet.

@ pabix ce serait approprié de mettre un message de mise en garde contre le fait d' aspirer le site ubuntu-fr dans ton premier message je crois

pabix · Le 28/11/2006, à 11:58

Louis XVI with a gun a écrit :

@ pabix ce serait approprié de mettre un message de mise en garde contre le fait d' aspirer le site ubuntu-fr dans ton premier message je crois

Fait

Benoit

thx_84 · Le 28/11/2006, à 23:41

et il y aurait moyen d'en faire un script indépendant, où il faudrait juste entrer l'adresse comme argument sans le charabia indigeste?

Mathieu11 · Le 28/11/2006, à 23:49

Je suis entrain d'en faire un thx 84 si ca t'interesse. Ici

DecIRC · Le 29/11/2006, à 01:09

Et si on aspirait Google ?

http://www.google.com/search?hl=en&lr=&q=www n'a jamais que 8.710.000.000 de réponses (à peu près hein)

pabix · Le 29/11/2006, à 16:07

DecIRC : ma commande ne remplit pas les formulaires avec des expressions au hasard : tu vas avoir les pages meta de Google, je pense.

Benoit

Maxouille · Le 03/12/2006, à 19:54

peut-on avoir seulement une partie d'un site ??
Comme un tuto ect.?
et
Les jeux en ligne je peux oublier ?

edit: sa peut servir http://www.infoprat.net/astuces/internet/astuces/internet_067.php

Dernière modification par Maxouille (Le 03/12/2006, à 20:16)

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 23/11/2006, à 16:33

[Tuto] Rapatrier un site web entier en UNE ligne de commande

#2 Le 23/11/2006, à 17:33

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#3 Le 23/11/2006, à 17:41

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#4 Le 23/11/2006, à 17:46

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#5 Le 23/11/2006, à 21:12

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#6 Le 23/11/2006, à 22:12

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#7 Le 24/11/2006, à 11:01

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#8 Le 24/11/2006, à 11:05

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#9 Le 24/11/2006, à 18:27

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#10 Le 24/11/2006, à 19:02

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#11 Le 25/11/2006, à 19:10

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#12 Le 25/11/2006, à 20:40

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#13 Le 25/11/2006, à 20:53

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#14 Le 25/11/2006, à 20:57

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#15 Le 25/11/2006, à 21:23

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#16 Le 25/11/2006, à 22:04

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#17 Le 26/11/2006, à 00:58

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#18 Le 26/11/2006, à 01:20

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#19 Le 26/11/2006, à 08:43

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#20 Le 28/11/2006, à 11:58

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#21 Le 28/11/2006, à 23:41

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#22 Le 28/11/2006, à 23:49

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#23 Le 29/11/2006, à 01:09

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#24 Le 29/11/2006, à 16:07

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#25 Le 03/12/2006, à 19:54

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

Pied de page des forums