#126 Le 07/12/2008, à 12:52
- Nifux
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
en fait je préférerai pas car c'est le blog perso d'un ami donc le mettre comme cela sur un site public...
Je vais essayer d'être plus clair.
Donc cet ami aimerait que je fasse une sauvegarde de son blog. Il y a une page d'accueil (http://journal.pseudo.blog.com) et des pages en liens sur cette page d'accueil (listes des post selon les mois. Pour septembre : http://journal.pseudo.blog.com/2008/09) donc 3 niveaux à aspirer (exemple d'url d'un article de septembre http://journal.pseudo.blog.com/20080931015210/aujoud-hui-c-est-l-automne/).
Tout se passe bien avec le
wget -r -l5 -k -E "http://www.l_adresse_du_site.a_recuperer.com"
sauf que les images des articles ne sont pas importées... donc je ne sais pas quelle option faire et je ne sais pas pourquoi. Je me dis que c'est peut être parce que les images sont stockées plus à la racine du site.
http://www.blog.com/images/pseudo
et ne sont pas un sous dossier de http://journal.pseudo.blog.com
quand j'essaye de faire un
wget -r -l1 http://www.blog.com/images/pseudo --no-parent -A.jpg
il me met que l'accès du dossier est refusé.
requête HTTP transmise, en attente de la réponse... 403 Forbidden
2008-12-07 12:50:38 ERREUR 403: Forbidden.
donc je me demandais si on pouvait trouver une astuce our récupérer les images indépendamment ou non des textes et mise en forme du blog.
Hors ligne
#127 Le 07/12/2008, à 14:25
- Grunt
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
C'est le serveur de son blog qui fait chier, alors, en refusant les demandes directes d'une image.
Essaie de changer le User Agent de wget, peut-être.
Sinon, explique lui qu'il a mis son blog sur une plateforme pourrie, et que l'auto-hébergement saybien
Dernière modification par Grand_Grunt (Le 07/12/2008, à 14:25)
#128 Le 07/12/2008, à 14:55
- Nifux
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
changer le user agent ??
je note pour l'auto-hébergement
Hors ligne
#129 Le 14/01/2009, à 12:16
- fienno71
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
Bonjour j'ai essayé de récupérer un site pour pouvoir le consulter chez moi ,mais lorsque j'envoi la requête je reçois le message ,que la requête ne peut aboutir car il ne trouve pas le site en question.
j'aimerais savoir si la présence d'un proxy peut en être la cause.
Merci
#130 Le 14/01/2009, à 15:31
- fienno71
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
C'est ok,
ça marche,je me dis que c'est le proxy qui bloquait parceque je suis sur un réseau qui n'en pas et ça marche.
Bonjour j'ai essayé de récupérer un site pour pouvoir le consulter chez moi ,mais lorsque j'envoi la requête je reçois le message ,que la requête ne peut aboutir car il ne trouve pas le site en question.
j'aimerais savoir si la présence d'un proxy peut en être la cause.
Merci
#131 Le 04/04/2009, à 22:44
- Tinou83
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
Sympa l'astuce on peu s'en servir pour plein de choses, bien ou mal .
Hors ligne
#132 Le 16/04/2009, à 16:40
- breizh de laz
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
salut
cela ne marche que pour la premiere page ,pour les forumactifs.
a bientot
Ubuntu 12.04 TLS
Hors ligne
#133 Le 15/06/2009, à 17:12
- turbozender
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
salut
ca le stock ou le site je le trouve pas sur mon disque dur ?
Hors ligne
#134 Le 15/06/2009, à 19:53
- Slystone
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
Normalement un dossier est créé dans ton home (/home/pseudo/nouveaudossier/).
Sinon tu peux utiliser l'option -P pour indiquer un répertoire. Ex:
wget -P /media/disqueperso/dossier/ -r http://monsite.com
«Rigid, the skeleton of habit alone upholds the human frame.» - Virginia Woolf.
Hors ligne
#135 Le 15/06/2009, à 20:33
- turbozender
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
merci
c'est ok
je cherchais le tas de fichier et pas un seul dossier
en plus ca range bien
Hors ligne
#136 Le 30/08/2009, à 10:10
- sdblepas
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
Salut
C'est geniale comme truc
Je me demandes juste s'il y aurais un moyen de definir le type de fichier a telecharger, genre que les jpg. ou que les gif?
Merci
Hors ligne
#137 Le 30/08/2009, à 11:37
- pabix
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
oui. dans la page de manuel, tu as l'option -A ou --accept :
wget [...] -A '*.jpg,*.gif'
Mais je ne sais pas si ça marchera avec l'option récursive. Dis moi ce que ça donne.
Utilisateur du clavier BÉPO.
mortgat (()) gmail () com
GPG 0x377D716D
Hors ligne
#138 Le 30/08/2009, à 11:51
- Slystone
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
Ca marche parfaitement bien avec l'option récursive ! Je m'en sers avec bonheur pour télécharger des livres audio (au lieu de cliquer des dizaines de fois sur enregistrer sous).
«Rigid, the skeleton of habit alone upholds the human frame.» - Virginia Woolf.
Hors ligne
#139 Le 30/08/2009, à 13:19
- sdblepas
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
merci
Hors ligne
#140 Le 04/09/2009, à 14:43
- fredolecrado
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
bonjour
j aimerai savoir comment fair pour télécharger toutes les vidéos en liens sur video-maths.fr je suis tous nouveau utilisateur.... merci d avance
Hors ligne
#141 Le 04/09/2009, à 23:47
- Slystone
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
Oui mais là ce topic n'est d'aucune utilité comme il n'y a pas de lien direct de téléchargement pour les vidéos, l'offre est en streaming. Ta meilleure chance est donc de passer par un addon (sous Firefox par exemple) tel downloadhelper ou un truc du genre. A toi de rechercher dans les modules complémentaires.
Dernière modification par Slystone (Le 06/09/2009, à 09:42)
«Rigid, the skeleton of habit alone upholds the human frame.» - Virginia Woolf.
Hors ligne
#142 Le 06/09/2009, à 02:44
- MiNiShOoTeR
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
Ou de charger les vidéos en streaming puis d'aller les chercher dans /tmp
(on évite d'utiliser un plugin pour rien quoi! )
Hors ligne
#143 Le 06/09/2009, à 14:06
- fredolecrado
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
merci pour le tuyo
Hors ligne
#144 Le 28/11/2009, à 14:00
- bece
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
Excellente cette commande, je vais surement la tester
Merci.
"L'informatique, c'est l'art de passer 15 jours à gagner 5 millisecondes"
Hors ligne
#145 Le 04/12/2009, à 05:35
- TSIPC
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
J'lai testé tantôt sur un de mes sites qui contient beaucoup d'images, c'est fascinent la rapidité. J'en reviens pas. Pas plus de 20 secondes et tout mon site était dans un répertoire sur mon HD. Wow.
Portable HP G60 414-CA, 4 gigs de mémoire.
Ubuntu 9.10 depuis le 12 décembre 2009. Mise à jour à 10.04 ensuite à 10.10. Seul et unique OS sur le portable. Aucun problème non résolu à ce jour (30 novembre 2010) très stable et rapide.
Hors ligne
#146 Le 05/12/2009, à 16:03
- chimay
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
hello,
petit script avec quelques options qui vont bien, à adapter :
#! /bin/sh
[ $# -ge 2 ] && NIVEAU=$2 || NIVEAU=2
#RECURSIVITE="-r -l ${NIVEAU} -p -k -E"
RECURSIVITE="--recursive --level=${NIVEAU} --page-requisites"
#PARENTS="-np"
#PARENTS="--no-parent"
PARENTS=""
#CONVERSION="-k -E"
CONVERSION="--convert-links --html-extension"
ATTENTE="--wait=5 --random-wait"
#EXCLUSIONS="-R .pdf,.ps,.mid,.midi,.mp3,.ogg,.wav,.flv"
EXCLUSIONS="--reject .pdf,.ps,.mid,.midi,.mp3,.ogg,.wav,.flv"
CASSE="--ignore-case"
OPTIONS="$RECURSIVITE $PARENTS $CONVERSION $ATTENTE $EXCLUSIONS $CASSE"
echo "wget $OPTIONS http://$1"
wget $OPTIONS http://$1
* Linux est écolo : le code est tout vert
* Un dauphin nage plus vite qu'un nautile nain
* Le but d'un système d'exploitation est d'exploiter l'ordinateur, pas l'utilisateur
* Un ordinateur est composé d'un piano, d'une mangeuse de fromage, d'une mémoire d'éléphant, d'une dalle, d'un lecteur de galette, et d'un moulin, le célèbre moulin de la galette
Hors ligne
#147 Le 24/12/2009, à 14:01
- dybman
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
Merci pour ce tuto
Hors ligne
#148 Le 12/01/2010, à 22:18
- ricobanzai
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
Je viens de découvrir cette commande fabuleuse et je me demandais si je pourrais l'utiliser dans mon cas.
Je voudrais récupérer les photos d'un album Picasa non public. J'ai essayé vite fait mais il me renvoie une erreur 500.
Merci d'avance
Hors ligne
#149 Le 13/01/2010, à 11:36
- CasseTaTele
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
@ricobanzai
si c'est non public, tu dois t'identifier, essaie d'activer les cookies avec l'option
"--load-cookies"
Hors ligne
#150 Le 13/01/2010, à 22:51
- ricobanzai
Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande
Ok maintenant il me demande de préciser des arguments.
Comment je le tape sous quelle syntaxe ?
Hors ligne