Ubuntu-fr

Flying-Fish

[Résolu] Automatiser le téléchargement de fichiers issus d'1 page web

Salut à tous,

Pour les connaisseurs, l'émission de Guillaume Gallienne, Ça Peut Pas Faire de Mal, diffusée sur France Inter, vient définitivement de s'arrêter il y a quelques mois.

Voulant (ré)écouter certaines émissions anciennes, j'ai trouvé ce site : https://podcloud.fr/podcast/ca-peut-pas-faire-de-mal

Or, pour chaque émission (et il y en a plus de 400) il faut cliquer sur l'icône "engrenage" puis sur "Télécharger". Y a-t-il donc un moyen d'automatiser tout ça (d'autant qu'en bas de la page il faut également cliquer sur "Afficher plus").

Merci par avance pour votre aide !

Dernière modification par Flying-Fish (Le 28/08/2020, à 08:42)

---

Dell Latitude 5480
Mint Xfce
5.15.0-84-generic x86_64
Xfce 4.18.1

inbox

Re : [Résolu] Automatiser le téléchargement de fichiers issus d'1 page web

Salut,

En utilisant un logiciel (Gpodder par exemple) qui télécharge les podcasts, tu peux récupérer facilement 81 épisodes depuis ce flux :

http://radiofrance-podcast.net/podcast09/rss_11262.xml

Pour les autres, il faudra trouver une autre méthode.

A+

---

Un problème résolu ? Indiquez le en modifiant le titre du sujet.

Flying-Fish

Re : [Résolu] Automatiser le téléchargement de fichiers issus d'1 page web

Salut et merci,

C'est ce que j'avais fait et en effet, j'ai les 81 premiers mais pour le reste...

---

Dell Latitude 5480
Mint Xfce
5.15.0-84-generic x86_64
Xfce 4.18.1

k3c

Re : [Résolu] Automatiser le téléchargement de fichiers issus d'1 page web

Regarde par exemple le module mechanize de Python

---

Debian 12 sur Thinkpad reconditionné

beuguissime

Re : [Résolu] Automatiser le téléchargement de fichiers issus d'1 page web

Bonsoir,

Sympa ton site de podcast mais a priori, il ne propose pas toutes les émissions encore disponibles de “Ça peut pas faire de mal“.

À cette adresse (lien valide six jours), tu trouveras un document à 5 colonnes (colonnes séparées par des barres verticales) te donnant la liste de toutes les émissions de “Ça peut pas faire de mal“, de 2009 à 2020. Les colonnes sont : titre, page web, date, lien mp3, taille du mp3.

Attention, il y 649 émissions encore en ligne ; cependant, le fichier est long de 789 lignes car il y a des émissions hors ligne + des entrées correspondant à des émissions non diffusées (grèves/report). Dans ce cas, l'avant-dernière colonne est vide et la dernière colonne vaut zéro.

Voici les 10 premières lignes du fichier (avec un exemple d'émission sans podcast, celle du 21/06/2020, sixième ligne) :

L'amitié selon Montaigne et La Boétie|https://www.franceinter.fr/emissions/ca-peut-pas-faire-de-mal/ca-peut-pas-faire-de-mal-26-juin-2020|26 juin 2020|https://media.radiofrance-podcast.net/podcast09/18474-26.06.2020-ITEMA_22370279-2020F15018S0178-1779455909.mp3|46002841
Bernard-Marie Koltès (2)|https://www.franceinter.fr/emissions/ca-peut-pas-faire-de-mal/ca-peut-pas-faire-de-mal-25-juin-2020|25 juin 2020|https://media.radiofrance-podcast.net/podcast09/11262-25.06.2020-ITEMA_22369275-2020F15018S0177-1779455909.mp3|42172277
Bernard-Marie Koltès (1)|https://www.franceinter.fr/emissions/ca-peut-pas-faire-de-mal/ca-peut-pas-faire-de-mal-24-juin-2020|24 juin 2020|https://media.radiofrance-podcast.net/podcast09/11262-24.06.2020-ITEMA_22368422-2020F15018S0176-1779455909.mp3|44997879
Le Rouge et le Noir, chef-d'œuvre de Stendhal|https://www.franceinter.fr/emissions/ca-peut-pas-faire-de-mal/ca-peut-pas-faire-de-mal-23-juin-2020|23 juin 2020|https://media.radiofrance-podcast.net/podcast09/11262-23.06.2020-ITEMA_22367575-2020F15018S0175-1779455909.mp3|45147943
La Montagne Magique, de Thomas Mann|https://www.franceinter.fr/emissions/ca-peut-pas-faire-de-mal/ca-peut-pas-faire-de-mal-22-juin-2020|22 juin 2020|https://media.radiofrance-podcast.net/podcast09/18474-22.06.2020-ITEMA_22366841-2020F15018S0174-1779455909.mp3|45407638
Le Livre Noir, d’Orhan Pamuk|https://www.franceinter.fr/emissions/ca-peut-pas-faire-de-mal/ca-peut-pas-faire-de-mal-21-juin-2020|21 juin 2020||0
Le chef-d'œuvre de George Orwell, « 1984 »|https://www.franceinter.fr/emissions/ca-peut-pas-faire-de-mal/ca-peut-pas-faire-de-mal-20-juin-2020|20 juin 2020|https://media.radiofrance-podcast.net/podcast09/11262-20.06.2020-ITEMA_22365681-2020F15018S0172-1779455909.mp3|45154140
Le Portrait de Dorian Gray, d'Oscar Wilde|https://www.franceinter.fr/emissions/ca-peut-pas-faire-de-mal/ca-peut-pas-faire-de-mal-19-juin-2020|19 juin 2020|https://media.radiofrance-podcast.net/podcast09/18474-19.06.2020-ITEMA_22365097-2020F15018S0171-1779455909.mp3|45846052
Le Maître et Marguerite, de Mikhaïl Boulgakov|https://www.franceinter.fr/emissions/ca-peut-pas-faire-de-mal/ca-peut-pas-faire-de-mal-18-juin-2020|18 juin 2020|https://media.radiofrance-podcast.net/podcast09/18474-18.06.2020-ITEMA_22364089-2020F15018S0170-1779455909.mp3|44947552
Bartleby le Scribe, de Herman Melville|https://www.franceinter.fr/emissions/ca-peut-pas-faire-de-mal/ca-peut-pas-faire-de-mal-17-juin-2020|17 juin 2020|https://media.radiofrance-podcast.net/podcast09/18474-17.06.2020-ITEMA_22363239-2020F15018S0169-1779455909.mp3|45289389

Si je ne me suis pas planté, ça représente environ 28Gio. Il y a 2-3 entrées de la liste qui sont en fait des extraits/des chroniques (comme une courte lecture de Notre Dame de Paris au moment de l'incendie) et les rediffusions sont aussi incluses.

Pour télécharger de façon raisonable, tu peux lancer ceci en supposant que la liste est enregistrée dans le fichier liste_franceinter.txt. Les émissions porteront un nom de ce genre : CPPFDM_22_juil._2013.mp3

while IFS='|' read -ra var; do if [[ "${var[3]}" != "" ]]; then echo wget -U "Mozilla/5.0 (X11; Linux x86_64; rv:78.0) Gecko/20100101 Firefox/78.0" -O "CPPFDM_$(tr ' ' '_' <<< ${var[2]}).mp3" "${var[3]}"; sleep 5; fi; done < liste_franceinter.txt

Flying-Fish

Re : [Résolu] Automatiser le téléchargement de fichiers issus d'1 page web

Oops, désolé, j'arrive sur le tard...

J'ai réussi à téléchargé 300 et quelques podcasts de l'émission mais je vais essayer ton lien beuguissime, ça va m'en faire gagner quelques centaines de plus !

Merci et bravo pour le boulot accompli !

Dernière modification par Flying-Fish (Le 28/08/2020, à 08:33)

---

Dell Latitude 5480
Mint Xfce
5.15.0-84-generic x86_64
Xfce 4.18.1