[Tuto] Rapatrier un site web entier en UNE ligne de commande

pabix · Le 03/12/2006, à 20:48

S'il s'agit d'une branche d'arborescence d'un site, normalement c'est bon, sans problème.

S'il s'agit d'un motif pour le nom des pages ça doit être possible également, compulse donc

man wget

:-)

Benoit

Maxouille · Le 04/12/2006, à 09:25

Une dernier question.
C'est quoi la différence entre faire sa et mettre la page en orligne ?

edit: okey merci pour la reponse

Dernière modification par Maxouille (Le 04/12/2006, à 19:42)

pabix · Le 04/12/2006, à 10:19

ça, c'est mettre un site web hors ligne, pas une seule page

Benoit

Brunod · Le 07/12/2006, à 21:21

Bonjour,
Chouette, mais est-il possible d'aspirer un site protégé ?
J'ai un abonnement avec code d'accès à un site et je voudrais récupérer toutes les docs disponibles en pdf.
La procédure normale requiert un login et pass.
C'est envisageable ?
Sinon, chapeau !
Brunod

Dernière modification par Brunod (Le 22/04/2008, à 16:40)

pabix · Le 08/12/2006, à 09:15

Brunod : il y a plusieurs moyens de s'authentifier à un site web : par session, par cookie.

Pour les cookies : logue toi avec Firefox, et ensuite cherche le fichier nommé cookies.txt dans ~/.mozilla/firefox/abcdef.default :

wget -r -l5 -K -E --load-cookies ~/.mozilla/firefox/cefdvwsj.default/cookies.txt lesite

(le cefdvwsj, ça peut changer)

Benoit

Dernière modification par pabix (Le 08/12/2006, à 10:56)

Brunod · Le 08/12/2006, à 10:49

Merci, j'essayerai ça dès que possible
BD

pabix · Le 11/12/2006, à 11:51

Brunod : Est-ce que ça marche ?

SeTtHe · Le 14/12/2006, à 21:31

Super tuto pabix
Je me suis permis de repiquer le 1er post pour mon site.
Bien entendu, j'y ai ajouté un lien pour retourner vers ton post et le fil de discussion !;)

Chaton · Le 16/12/2006, à 15:22

Apparemment, il y a une parade pour un site qui ne veut pas être aspiré avec wget.
Pour certains sites, rien n'est downloadé, sauf un fichier "robots.txt"

Ce fichier contient le message suivant :

User-agent: ia_archiver
Disallow: /

Pour éviter que le site d'Ubuntu ne subisse des aspirations, une technique similaire peut être surement employée (notez que je ne sais pas comment ça marche)

A+

Chaton.

MiTcH · Le 17/12/2006, à 11:41

salut , tu n'aurais pas la même chose en ftp ?

au temps pour moi, un petit :

wget -r ftp://LOGIN:PASSWORD@FTP.SITE.COM

marche nickel !

Dernière modification par MiTcH (Le 17/12/2006, à 11:49)

cuistot · Le 03/02/2007, à 16:11

bonjour
je part en république tchèque pour le boulot et j'ai suivi le tuto pour aspirer un site local pour lire dans le l'avion.
jusqu'à la, pas de problème, sauf que ma partition linux est pleine (suite au téléchargement)
deja, est ce a cause de mon telechargement que j'ai ce probleme et si oui comment le resoudre dans la mesure ou je n'ai pas accés facilement a cette partition?
comment effacer le site sur mon portable?

merci de votre aide
pascal

Ayral · Le 03/02/2007, à 16:44

Exemple d'utilisation: je suis prof d'informatique dans un lycée. Si un prof déçide de faire travailler une classe sur un site en particulier, je l'aspire sur le serveur local, je mets un raccourci sur le bureau élève vers ce "site aspiré", puis je coupe l'accès à internet (avec le slis) ce qui libère le (la) prof du souci de savoir où vont naviguer les élèves pendant son cours. Quand c'est fini, j'efface tout et je rend la ligne.
En ce moment j'ai aussi aspiré un petit site pour avoir accès à la feuille de style avec lequel il a été réalisé, pour ma formation personnelle, Je ne l'utiliserai qu'après un coup de fil à son auteur.
Amitiés

lisendra · Le 03/02/2007, à 20:40

pabix a écrit :

wget -r -l5 -k -E www.unsite.com

ou sont placer les fichiers?

pabix · Le 04/02/2007, à 06:10

@lisendra :
dans le répertoire d'où tu as appelé la commande. Si tu le fais depuis un terminal que tu viens d'ouvrir, dans ton "dossier personnel" soit par exemple /home/lisendra.

@cuistot :
Est-ce que tu peux encore te loguer ? Sinon, il faudrait que tu lances un Live-CD pour accéder à ta partition et effacer les fichiers qui sont stockés, comme je viens de répondre à lisendra, là où la commande a été appelée dans le terminal.

Benoit

wilco · Le 04/02/2007, à 06:44

TizeN a écrit :

À avoir un contenu hors-ligne, pour pouvoir par exemple garder de la documentation sur un wiki en mode hors-ligne quand t'as un problème en déplacement c'est bien pratique si t'as pas de wifi .

Bonjour,
Pour faire cela de manière sélective il y a l'extraodinaire extension Firefox : ScrapBook.
Une des plus demandée de ce navigateur.

cuistot · Le 04/02/2007, à 07:56

salut

Est-ce que tu peux encore te loguer ? Sinon, il faudrait que tu lances un Live-CD pour accéder à ta partition et effacer les fichiers qui sont stockés, comme je viens de répondre à lisendra, là où la commande a été appelée dans le terminal.

oui je peux encore me loguer mais j'ai un message qui me prévient que le disque est plein à 96%.
j'ai essayé de charger ce site mais je désire maintenant récupérer de la place sur ma machine.
j'ai sans doute taper la commande sur mon dossier personnel mais c'est ma partition de linux qui est saturé.de plus je ne sais pas comment y accéder.

Périphérique Amorce Début Fin Blocs Id Système
/dev/sda1 1 11 88326 de Dell Utility
/dev/sda2 12 2713 21703815 7 HPFS/NTFS
/dev/sda3 * 2714 3366 5245222+ 83 Linux
/dev/sda4 3367 13291 79722562+ 5 Extended
/dev/sda5 3367 7282 31455238+ b W95 FAT32
/dev/sda6 7283 8588 10490413+ 83 Linux
/dev/sda7 13161 13291 1052226 82 Linux swap / Solaris

merci de m'aider
pascal

pabix · Le 04/02/2007, à 09:48

que te donne la commande "df -hT" (sans les guillemets autour, et exactement avec cette casse) ?

Benoit

cuistot · Le 04/02/2007, à 10:58

merci pour ton aide

Sys. de fich. Type Tail. Occ. Disp. %Occ. Monté sur
/dev/sda3 ext3 5,0G 4,6G 138M 98% /
varrun tmpfs 506M 120K 506M 1% /var/run
varlock tmpfs 506M 4,0K 506M 1% /var/lock
udev tmpfs 506M 112K 506M 1% /dev
devshm tmpfs 506M 0 506M 0% /dev/shm
lrm tmpfs 506M 19M 487M 4% /lib/modules/2.6.15-27-386/volatile
/dev/sda1 vfat 87M 7,3M 79M 9% /media/sda1
/dev/sda2 ntfs 21G 2,8G 18G 14% /media/sda2
/dev/sda5 vfat 30G 447M 30G 2% /media/sda5
/dev/sda6 ext3 9,9G 178M 9,2G 2% /media/sda6

merci encore

lisendra · Le 04/02/2007, à 14:18

Merci pabix.

pabix · Le 04/02/2007, à 15:25

cuistot : tu n'as que 5 Go pour ton disque dur ?

Ouvre nautilus dans ton dossier personnel (en haut : menu Raccourcis>Dossier personnel); tu devrais trouver le répertoire ayant pour nom l'adresse du site ; et ainsi tu peux le supprimer (d'abord dans la corbeille, puis vider la corbeille of course).

Benoit

cuistot · Le 04/02/2007, à 17:41

merci pabix
un simple conseil mais qui est important pour moi 'pauvre débutant"
j'ai utilisé ScrapBook pour voir le site hors connexion.

merci pour ton aide et encore chapeau bas à cet esprit de communauté qu'il serai bon de recréer ailleurs
cordialement
pascal
ps moi, mes compétences s'arrête à la cuisine, alors si tu as un soucis;)

zabelle_motte · Le 03/08/2007, à 09:28

Complément d'information sur ce merveilleux outil ...

Peut-on aspirer des sites webs dynamiques (PHP par exemple) avec cette merveille ?

D'avance merci.

Zabelle

medim · Le 03/08/2007, à 10:20

gilir a écrit :

C'est génial pour faire tomber les serveurs aussi Sur le site d'apple ça pose pas de problème mais sur des sites plus modestes, je suis par sur que le proprio apprécie

+1.

Pratique interdite sur pas mal de sites.

®om · Le 03/08/2007, à 10:39

Au lieu de :

wget -r -l5 -k -E http://www.unsite.com

ça serait sympa un

wget -r -l5 -k -E http://

Ça aspire tout internet...

soupaloignon · Le 04/08/2007, à 11:33

zabelle_motte a écrit :

Complément d'information sur ce merveilleux outil ...
Peut-on aspirer des sites webs dynamiques (PHP par exemple) avec cette merveille ?
D'avance merci.
Zabelle

Oui

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#26 Le 03/12/2006, à 20:48

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#27 Le 04/12/2006, à 09:25

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#28 Le 04/12/2006, à 10:19

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#29 Le 07/12/2006, à 21:21

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#30 Le 08/12/2006, à 09:15

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#31 Le 08/12/2006, à 10:49

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#32 Le 11/12/2006, à 11:51

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#33 Le 14/12/2006, à 21:31

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#34 Le 16/12/2006, à 15:22

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#35 Le 17/12/2006, à 11:41

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#36 Le 03/02/2007, à 16:11

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#37 Le 03/02/2007, à 16:44

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#38 Le 03/02/2007, à 20:40

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#39 Le 04/02/2007, à 06:10

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#40 Le 04/02/2007, à 06:44

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#41 Le 04/02/2007, à 07:56

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#42 Le 04/02/2007, à 09:48

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#43 Le 04/02/2007, à 10:58

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#44 Le 04/02/2007, à 14:18

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#45 Le 04/02/2007, à 15:25

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#46 Le 04/02/2007, à 17:41

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#47 Le 03/08/2007, à 09:28

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#48 Le 03/08/2007, à 10:20

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#49 Le 03/08/2007, à 10:39

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#50 Le 04/08/2007, à 11:33

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

Pied de page des forums