[Tuto] Rapatrier un site web entier en UNE ligne de commande

weedfast · Le 04/08/2007, à 21:24

pabix a écrit :

Attention : ce forum ne doit PAS être aspiré automatiquement sous peine de mise de votre adresse IP en liste noire. NE TESTEZ PAS CE SCRIPT SUR LE FORUM UBUNTU-FR. L'aspiration de site doit respecter une certaine éthique et doit être utilisée uniquement lorsqu'il y a un besoin d'accéder à certains contenus hors lignes. À réserver à des sites légers.
Bonjour !
Le titre en disant suffisamment long :
wget -r -l5 -k -E www.unsite.com
Explication :
-r : récursif sur le site
-l5 : cinq niveaux de récursion au maximum
-k : convertir les destinations des liens pour une lecture locale
-E : convertir les types de fichier au format HTML (pour éviter que la lecture de sites en PHP ne foire en lecture sous Firefox).
Benoit
Edit: titre plus approprié

Doublon sur wget !!

http://forum.ubuntu-fr.org/viewtopic.php?id=114414
http://ubunblox.blogspot.com/2007/04/tutos-wget-et-ses-options.html
http://doc.ubuntu-fr.org/wget

Chaton · Le 04/08/2007, à 21:31

®om a écrit :

.... Ça aspire tout internet...

Ouaip, et tu le mets où le contenu de ton résultat !

Si tu veux flinguer ton DD, je te conseille plutôt d'aller voir du coté de la commande rm, il y a des options merveilleuses :lol::lol:

Chaton.

aaa · Le 30/12/2007, à 18:33

dsl mais ou on doit rentrer le code svp????

Maxouille · Le 30/12/2007, à 18:44

dans un terminal

Oreste visari · Le 02/01/2008, à 21:18

J'ai tester cette commandant sur http://socwall.com/, hélas, ça ne prend pas les fond d'écran. Quelqu'un aurais pas une technique pour "aspirer" tous les fonds d'écran?

Arkenstone · Le 03/01/2008, à 21:28

A cette ligne on pourrait rajouter --wait=x par exemple, wget attendra ainsi x secondes entre chaque enregistrement de page, ce qui peut éviter les surcharges du serveur etc...

Pour les fonds d'écrans, tu aspires quoi excatement?
Après essai, tu as dans ton dossier cible un petit txt, robots.txt qui te donne deux trois infos concernant l'aspiration du site..
Entre autre, sur ton site:

You agree not to use or launch any automated system, including without limitation, "robots," "spiders," "offline readers," etc., that accesses the Website in a manner that sends more request messages to the Social Wallpapering servers in a given period of time than a human can reasonably produce in the same period by using a convention on-line web browser. Notwithstanding the foregoing, Social Wallpapering grants the operators of public search engines permission to use spiders to copy materials from the site for the sole purpose of creating publicly available searchable indices of the materials, but not caches or archives of such materials. Social Wallpapering reserves the right to revoke these exceptions either generally or in specific cases. You agree not to collect or harvest any personally identifiable information, including account names, from the Website, nor to use the communication systems provided by the Website for any commercial solicitation purposes. You agree not to solicit, for commercial purposes, any users of the Website with respect to their User Submissions.

Donc je te conseille de plutà´t telecharger manuellement les fonds d'écrans qui te plaisent

Dernière modification par Arkenstone (Le 03/01/2008, à 21:38)

lisendra · Le 06/01/2008, à 17:58

Je pense que ta reponse se trouve ici, pour moi cela fontionne quand je l'utilise
http://wget.addictivecode.org/Frequentl … ons#robots

Par contre je voudrait dire que rapatrier tous le site web ne serait pas fairplay a cause du nombre important de donner qui y sont stocker et surtous du nombres de requetes...comme dit plus haut, selectionne les fond d'ecrans qui te plaise manuelement.

Bourrin54 · Le 09/01/2008, à 20:36

Est si on faisait une attaque groupé sur http://microsoft.com/ ?

Tous en meme temps on fais exploser leur serveur :lol::lol:

Yannick_LM · Le 09/01/2008, à 23:22

@ Oreste visari : Si je peux me permettre, ils fournissent même des torrents pour récupérer les Wallpapers.
Pourquoi ne pas les utiliser ?

http://socwall.com/torrents/

Dernière modification par Yannick_LM (Le 09/01/2008, à 23:23)

Nimois · Le 10/01/2008, à 09:34

Bourrin54 a écrit :

Est si on faisait une attaque groupé sur http://microsoft.com/ ?
Tous en meme temps on fais exploser leur serveur :lol::lol:

dans quel but ?

Polo · Le 10/01/2008, à 11:04

ouai tout ça c'est bien, mais pourquoi ne pas passer par un logiciel fait exprès pour l'aspiration de sites ?

Je pense surtout à http://www.httrack.com/

Ce qui est mieux, c'est qu'il y a toute une tripotée d'arguments pour paramétrer l'aspiration. De plus, dans des sites compliqués, il change les liens pour pointer vers la copie sur le disque (ils réorganisent la structure de la page), je sais pas si wget le fait...

Sinon, le principe est le même je pense...

Dernière modification par Polo (Le 10/01/2008, à 11:06)

Chaton · Le 10/01/2008, à 13:24

Jadis exista un journal appellé Hebdogiciel.
http://fr.wikipedia.org/wiki/Hebdogiciel

Il y avait dedans une rubrique appellé "la ligne dans la gueule"

C'était une seule ligne, en langage C le plus souvent, qui faisait un truc incroyable. J'ai vu un tétris programmé ainsi sur une seule ligne.

Bien sur, plus personne ne comprenait ce code condensé à la limite de tout ce qui ne faut pas faire, mais ce qui comptait, c'était le résultat, et il y avait certaines lignes qu'on se prenait vraiment "dans la gueule", tellement c'était fou.

Donc, aspirer un site en une ligne de commande, c'est bien plus classe que d'utiliser un vulgaire logiciel. non ?

A+

Chaton.

Bourrin5400 · Le 11/01/2008, à 23:34

Alerte !!!
Comment on stop l'aspiration du site ?

URGENT PLZ :o:o

Yannick_LM · Le 11/01/2008, à 23:52

@Bourrin :

killall wget

devrait suffire.

Crtl-C si tu as encore accès au terminal. Mais si tu as fermé la fenêtre dans lequel tu avais lancé wget, il a effectivement continué à fonctionner en arrière-plan : c'est l'une des fonctionnalités de wget.

Tu peux aussi faire un

pgrep -x wget

pour vérifier : s'il ne te renvoie rien, c'est bon, sinon

 kill -9 `pgrep wget`

Attention, ceci annulera tous les téléchargements en cours.

Tu peux utiliser

ps aux | grep wget | grep -v grep

pour visualiser les numéros des processus concernant wget, et les tuer un par un, avec kill + le numéro.

Voilà

Dernière modification par Yannick_LM (Le 12/01/2008, à 00:02)

Bourrin54 · Le 12/01/2008, à 10:23

merci beaucoup

Sato8782 · Le 19/04/2008, à 18:49

Y'as pas un moyens de recuperer une base sql aussi ?

Avec le mdp

pabix · Le 22/04/2008, à 14:07

Euh oui, il y a un moyen, mais je ne le connais pas par cœur… regarde comment fait phpmyadmin pour ça.

Dark-Sham · Le 30/04/2008, à 16:36

Pour ce qui est des pages Web dynamiques type PHP ou ASP, avant d'être reçues elles sont converties en HTML ?...

Donc pas de problème pour la propriété intellectuelle (mis à part le JS )

Dernière modification par Dark-Sham (Le 30/04/2008, à 16:37)

\\Ouranos// · Le 30/04/2008, à 21:02

Je suis en train de télécharger la doc d'ubuntu-fr, c'est très pratique...merci pabix!

ferreol · Le 30/04/2008, à 21:22

cela aspire aussi avec des menu en flash?

reeth · Le 30/04/2008, à 22:23

Pour la doc d'ubuntu-fr, il existe une version faite par yann disponible sur le forum.

Grunt · Le 19/05/2008, à 12:24

C'est aussi possible d'aspirer les sites qui ne le veulent pas, en se créant un fichier ".wgetrc" dans le répertoire utilisateur et en ajoutant quelque chose comme "robots=no"
Je retrouve la commande ce soir.
Bien sûr, aspirer un site qui a un "robot.txt" interdisant de l'aspirer est contraire à l'éthique du net (me semble bien que c'est illégal, en fait)

ça peut se comprendre, un gars se fait chier à faire un joli site d'images par exemple, avec des explications, des pubs pour le financer, et des boulets vont laisser tourner un script qui wget -c son dossier /Images toutes les 24H

\\Ouranos// · Le 22/05/2008, à 09:22

®om a écrit :

ça serait sympa un
wget -r -l5 -k -E http://
Ça aspire tout internet...

il faut rajouter une étoile (*) après http://

\\Ouranos// · Le 22/05/2008, à 09:41

Bourrin54 a écrit :

Est si on faisait une attaque groupé sur http://microsoft.com/ ?
Tous en meme temps on fais exploser leur serveur :lol::lol:

Ouaiiiiiiis! Le 21 Juin, à 13h37! Qui est volontaire??
EDIT: Je vais faire un script qui enlève la page, comme ça ça peut tourner des heures!! nyark

Dernière modification par Ouranos999 (Le 22/05/2008, à 09:42)

Grunt · Le 22/05/2008, à 10:11

Le 21 Juin à 13H37, je suis partant. On peut même laisser tourner des scripts sur des serveurs pour faire plus de monde. Moi et mon serveur, ça fait deux de plus!
Faut synchroniser nos horloges, par contre.

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#51 Le 04/08/2007, à 21:24

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#52 Le 04/08/2007, à 21:31

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#53 Le 30/12/2007, à 18:33

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#54 Le 30/12/2007, à 18:44

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#55 Le 02/01/2008, à 21:18

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#56 Le 03/01/2008, à 21:28

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#57 Le 06/01/2008, à 17:58

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#58 Le 09/01/2008, à 20:36

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#59 Le 09/01/2008, à 23:22

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#60 Le 10/01/2008, à 09:34

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#61 Le 10/01/2008, à 11:04

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#62 Le 10/01/2008, à 13:24

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#63 Le 11/01/2008, à 23:34

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#64 Le 11/01/2008, à 23:52

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#65 Le 12/01/2008, à 10:23

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#66 Le 19/04/2008, à 18:49

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#67 Le 22/04/2008, à 14:07

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#68 Le 30/04/2008, à 16:36

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#69 Le 30/04/2008, à 21:02

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#70 Le 30/04/2008, à 21:22

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#71 Le 30/04/2008, à 22:23

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#72 Le 19/05/2008, à 12:24

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#73 Le 22/05/2008, à 09:22

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#74 Le 22/05/2008, à 09:41

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#75 Le 22/05/2008, à 10:11

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

Pied de page des forums