[Tuto] Rapatrier un site web entier en UNE ligne de commande

\\Ouranos// · Le 22/05/2008, à 17:22

Grand_Grunt a écrit :

Le 21 Juin à 13H37, je suis partant. On peut même laisser tourner des scripts sur des serveurs pour faire plus de monde. Moi et mon serveur, ça fait deux de plus!
Faut synchroniser nos horloges, par contre.

Horloge de cairo-clock?
Bon allez je retourne bosser ce script

wlourf · Le 23/05/2008, à 23:43

est-ce que la commande

wget -r -l5 -k -E http://www.festival-cannes.fr/fr/festivalServices/podcast.html

permet aussi de récupérer les fichiers audios de la page http://www.festival-cannes.fr/fr/festivalServices/podcast.html parceque moi, je n'y arrive pô.

J'ai beau regarder le source, utiliser httrack, aucun fichier audio arrive sur mon disque dur...
qui peut m'aider (je préfère écouter les interviews après avoir vu les films, ce qui explique pourquoi je cherche à stocker ces audios)

merci d'avance

Grunt · Le 24/05/2008, à 01:42

J'essaie de voir ce qu'on peut faire avec cette foutue page..

Pourquoi tu leur envoies pas un mail en disant que le site ne marche pas?

wlourf · Le 24/05/2008, à 08:59

Grand_Grunt a écrit :

J'essaie de voir ce qu'on peut faire avec cette foutue page..
Pourquoi tu leur envoies pas un mail en disant que le site ne marche pas?

bah si le site marche, on peut écouter en ligne, par contre je ne trouve pas comment récupérer les fichiers, et ils osent appeler ça des podcasts !
Il doit y avoir des fichiers audiomp3_9534 , audiomp3_9533 ... quelque part mais je ne sais pas où

PS: Ecouter Tarantino est un vrai bonheur

DonQuiShoote · Le 24/05/2008, à 09:01

Je ne suis pas un spécialiste de la question; j'aimerais récupérer dans ubuntu mon site perso de free que j'ai fait sous frontpage avec xp; cela pour pouvoir continuer à le travailler sous ubuntu.
Est-ce que cet outil conviendrait pour cela ?

wlourf · Le 24/05/2008, à 09:08

si le site n'est pas en PHP ou autre truc dynamique, ça devrait aller. Tu peux aussi essayer l'add-on Firefox ScrapBook

DonQuiShoote · Le 24/05/2008, à 10:11

Bon; ça a l'air de marcher; ça défile dans le terminal.
Ca y est; j'ai un répertoire de mon site dans mon rép. perso;
maintenant, je voudrais un éditeur de sites web sympa; pas trop compliqué.
Et surtout comment l'installer vu que je suis néophyte en ubuntu .
Je connais la programmation en C++ et assembleur, et basic,
mais ça fait des années que je n'y ai plus touché (à part qq applications sous des prologiciels comme access),
Je ne connais pas grand'chose aux langages web genre java, php et html.
Il me faudrait un logiciel avec lequel je ferais le plus gros avec l'interface, et qq petits bidouilages du code pour là où ça s'avèrerait indispensable.

Dernière modification par DonQuiShoote (Le 24/05/2008, à 10:54)

\\Ouranos// · Le 01/06/2008, à 14:43

Personne pour la mise hors service des serveurs µ$hop...:(

Grunt · Le 01/06/2008, à 14:50

Ouranos999 a écrit :

Personne pour la mise hors service des serveurs µ$hop...:(

Moi chui partant. On trouve du monde?

Dark-Sham · Le 01/06/2008, à 15:05

Vachement intelligent...

\\Ouranos// · Le 01/06/2008, à 15:25

Grand_Grunt a écrit :

Ouranos999 a écrit :
Personne pour la mise hors service des serveurs µ$hop...:(
Moi chui partant. On trouve du monde?

Ouais!!!!!!!!!!

Vachement intelligent...

Encore un pro-µ$hop et un pro-BSD

Dark-Sham · Le 01/06/2008, à 16:54

Je ne suis PAS pro-µ$oft, mais cette réflexion n'est pas vraiment intelligente !

Grunt · Le 01/06/2008, à 17:45

Bon, ceux qui veulent lancer un wget -r sur Microsoft le 21 Juin à 13H37, contactez-moi par MP et faites de la pub' autour de vous. faut être nombreux sinon il bougera pas d'un poil le serveur

magiccerbere · Le 01/06/2008, à 18:07

ecoute sincerement, je ne vois pas trop l'interet de faire buger la bande passante de microsoft... je suis a 100pour100 contre windows, mais il es plus intelligent de leur prouver avec des new logiciel pour linux qui dépasse ceux de win que de se rabattre a petite action inutile comme celle la....

Dark-Sham · Le 01/06/2008, à 18:08

magiccerbere a écrit :

ecoute sincerement, je ne vois pas trop l'interet de faire buger la bande passante de microsoft... je suis a 100pour100 contre windows, mais il es plus intelligent de leur prouver avec des new logiciel pour linux qui dépasse ceux de win que de se rabattre a petite action inutile comme celle la....

+500000

magiccerbere · Le 02/06/2008, à 16:39

et pis c'est pas a 10 que vous allez arriver a faire quelque chose... (quoique vous etes combien la? 3...)

chimay · Le 17/06/2008, à 12:15

Sympa comme commande, l'option -p est intéressante aussi

Grunt · Le 17/06/2008, à 12:40

La meilleure option c'est:
robots=off --user-agent 'un_truc_crédible'

:lol::lol:

S.William · Le 22/07/2008, à 23:13

Je me demande ce que sa donnerait si un mec voulait aspirer wikipedia .

pabix · Le 23/07/2008, à 04:16

Ben ça donnerait beaucoup de choses sur le disque dur, y compris des historiques, et ça servirait pas à grand chose je pense…

mais c’est pas très correct, surtout que tu peux déjà télécharger des dumps de Wikipedia.

Chaton · Le 23/07/2008, à 08:16

S.William a écrit :

Je me demande ce que sa donnerait si un mec voulait aspirer wikipedia .

Pourquoi les gens veulent-ils absolument avoir l'information CHEZ EUX, sur LEUR disque, A EUX ?

L'intérêt de Wikipédia sur internet est d'avoir une mise à jour constante et de tendre vers quelque chose de mieux de jour en jour. Quel serait l'intéret d'avoir la version de Wikipédia du 16 mars 2005 (on ne saurait même pas que Sarkozy est devenu président)

Je suis sur que si tous les films étaient en VOD gratuit sur le net, certains essayeraient encore de les copier pour se sentir propriétaire.

Tout cela, c'est de l'instinct grégaire, l'instinct de propriété du sol, de la terre. Mes chers vassaux, allez moi me quérir quelques films pour mon château

A+

Chaton.

Maxouille · Le 27/07/2008, à 09:11

Est-ce qu'on peut aspirer un site avec un mot de passe si on connait le mot de passe ?

pabix · Le 27/07/2008, à 10:50

Oui, on peut. Lis le manuel de wget, ça dépend du mode d’authentification. Il est possible que tu aies besoin d’importer des cookies, ce que tu peux faire.

Slystone · Le 31/07/2008, à 19:55

J'ai une petite question. Il m'arrive d'aspirer des sites internet pour mes études afin de pouvoir les regarder à loisir après.
Mais avant d'aspirer un site on ne sait jamais combien de temps ça va prendre et surtout quelle place. Existe t-il quelque chose comme la "carte d'identité" d'un site, quelque chose qui joue le rôle des "propriétés" d'un fichier ?
Là je suis en train d'aspirer un site sur l'art, ça doit faire du côté de 5h que j'ai lancé wget...
M'enfin, comment faites-vous pour évaluer ? (en dehors bien sûr de ne pas s'attaquer à des forums et autres conneries...)

edit : j'ai une autre question : en face de certains fichiers téléchargés il apparaît : ETA : 0:00
Qu'est-ce que ça veut dire ? Estimated time de qqch ?
Merci d'avance

Dernière modification par Slystone (Le 31/07/2008, à 21:03)

pabix · Le 01/08/2008, à 11:12

Bonjour Slystone,

Je vois mal comment on pourrait évaluer le temps que ça va prendre au total, parce que tant que tu n’as pas téléchargé toutes les pages HTML, tu ne connais pas toute l’arborescence du site, il se peut qu’il y ait un lien inexploré qui mène plus loin…
En revanche, ça doit être possible en envoyant une requête HEAD en HTTP au lieu de GET, de savoir quelle taille un fichier fait. Mais je ne sais pas si wget peut faire ça.

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#76 Le 22/05/2008, à 17:22

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#77 Le 23/05/2008, à 23:43

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#78 Le 24/05/2008, à 01:42

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#79 Le 24/05/2008, à 08:59

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#80 Le 24/05/2008, à 09:01

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#81 Le 24/05/2008, à 09:08

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#82 Le 24/05/2008, à 10:11

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#83 Le 01/06/2008, à 14:43

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#84 Le 01/06/2008, à 14:50

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#85 Le 01/06/2008, à 15:05

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#86 Le 01/06/2008, à 15:25

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#87 Le 01/06/2008, à 16:54

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#88 Le 01/06/2008, à 17:45

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#89 Le 01/06/2008, à 18:07

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#90 Le 01/06/2008, à 18:08

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#91 Le 02/06/2008, à 16:39

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#92 Le 17/06/2008, à 12:15

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#93 Le 17/06/2008, à 12:40

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#94 Le 22/07/2008, à 23:13

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#95 Le 23/07/2008, à 04:16

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#96 Le 23/07/2008, à 08:16

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#97 Le 27/07/2008, à 09:11

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#98 Le 27/07/2008, à 10:50

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#99 Le 31/07/2008, à 19:55

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

#100 Le 01/08/2008, à 11:12

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

Pied de page des forums