TVDownloader: télécharger les médias du net !

k3c · Le 18/02/2013, à 00:14

@ mulder29

>>>Il y a donc un bug avec mon système Xubuntu si je comprends bien.

Non. pourquoi il y aurait un bug ?
Les replays fonctionnent tous de la même manière.
Tu as une page html qui te propose un replay. Pour trouver l'adresse de la video, il faut récupérer un identifiant
puis le passer à un autre site (Akamai pour pluzz, wat pour tf1/tmc/nt1/hd1, release.theplatform.com pour tou.tv, brightcove pour BFMTV...), qui lui te renvoie la vraie adresse de la vidéo.
Pour analyser la page HTML de départ, voire des pages XML (comme pour TV5 monde), il te faut un parser HTML ou XML.
J'utilise BeautifulSoup et lxml, qui ne sont pas inclus dans Python.

Je ne pense pas que ce soit plus un bug que Java, Flash, 7zip qui ne sont pas installés par défaut sur plein de systèmes juste installés, que ce soit Windows, Linux ou Mac.

@ angeline

j'ai le même résultat que f.x0, je suis en France

as-tu essayé
http://spys.ru/free-proxy-list/FR/

angeline · Le 18/02/2013, à 00:31

@k3c

Bonsoir et merci pour le test.
Oui je connais cette page et ai essayé MOULTS proxy, toujours sans succès pour pluzzdl, alors que mon IP est bien masquée ou changée pour d'autres sites.

Je persiste à penser qu'un bug subsiste dans pluzzdl, le site donne bien la vidéo dans tout navigateur.

Vers les 3/4 heures du matin ici, c'est même regardable, mais c'est moi qui n'ai plus les yeux ouverts !!
Dans la journée, trop de trafic internet et trafic trop lent pour du streaming, d'où le nécessite de télécharger.

Par chance, quelques heures après la mise en ligne, jusqu'à présent, un lien mms est donné.
Jusqu'à la semaine dernière, je le récupérais avec Firefox, le site de info.francetelevision n'était pas en flash... mais c'était avant !

Just for fun je poste le lien de ce soir:

$ pluzzdl -v http://pluzz.francetv.fr/videos/jt20h.html
[DEBUG   ]  main.py             pluzzdl 0.9.4 avec Python 2.7.3 (i686)
[DEBUG   ]  main.py             OS : Linux #58-Ubuntu SMP Thu Jan 24 15:51:02 UTC 2013
[DEBUG   ]  Navigateur.py       GET http://pluzz.francetv.fr/videos/jt20h.html
[DEBUG   ]  PluzzDL.py          ID de l'émission : 77496963
[DEBUG   ]  Navigateur.py       GET http://www.pluzz.fr/appftv/webservices/video/getInfosOeuvre.php?mode=zeri&id-diffusion=77496963
[DEBUG   ]  PluzzDL.py          Lien MMS : mms://a988.v101995.c10199.e.vm.akamaistream.net/7/988/10199/3f97c7e6/ftvigrp.download.akamai.com/10199/cappuccino/production/publication/Autre/Autre/2013/S07/J7/741765_jt20h_20130217.wmv
[DEBUG   ]  PluzzDL.py          Lien RTMP : None
[DEBUG   ]  PluzzDL.py          URL manifest : http://ftvodhdsecz-f.akamaihd.net/z/streaming-adaptatif/2013/S07/J7/77496963-20130217-,398,632,934,k.mp4.csmil/manifest.f4m
[DEBUG   ]  PluzzDL.py          URL m3u8 : http://medias2.francetv.fr/catchup-mobile/france-dom-tom/non-token/non-drm/m3u8/2013/S07/J7/77496963-20130217.m3u8
[DEBUG   ]  PluzzDL.py          Utilisation de DRM : non
[DEBUG   ]  PluzzDL.py          Chaine : France 2
[DEBUG   ]  Historique.py       Historique chargé
[DEBUG   ]  Navigateur.py       GET http://medias2.francetv.fr/catchup-mobile/france-dom-tom/non-token/non-drm/m3u8/2013/S07/J7/77496963-20130217.m3u8
[DEBUG   ]  Navigateur.py       Forbidden
Traceback (most recent call last):
  File "/usr/share/pluzzdl/main.py", line 91, in <module>
    progressFnct = progressFnct )
  File "/usr/share/pluzzdl/PluzzDL.py", line 119, in __init__
    downloader.telecharger()
  File "/usr/share/pluzzdl/PluzzDL.py", line 259, in telecharger
    self.m3u8 = self.navigateur.getFichier( self.m3u8URL )
  File "/usr/share/pluzzdl/Navigateur.py", line 58, in getFichier
    page = self.urlOpener.open( requete, timeout = self.timeOut )
  File "/usr/lib/python2.7/urllib2.py", line 406, in open
    response = meth(req, response)
  File "/usr/lib/python2.7/urllib2.py", line 519, in http_response
    'http', request, response, code, msg, hdrs)
  File "/usr/lib/python2.7/urllib2.py", line 444, in error
    return self._call_chain(*args)
  File "/usr/lib/python2.7/urllib2.py", line 378, in _call_chain
    result = func(*args)
  File "/usr/lib/python2.7/urllib2.py", line 527, in http_error_default
    raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
urllib2.HTTPError: HTTP Error 403: Forbidden
[DEBUG   ]  Historique.py       Historique sauvé

k3c · Le 18/02/2013, à 05:50

@ angeline

le problème des proxy gratuits, c'est qu'ils sont très peu fiables :-(

Désolé, pas d'idée pour ton problème

angeline · Le 18/02/2013, à 05:55

Ok pour les proxys.

Mais pourquoi un navigateur peut lire sans proxy et pas plussdl ?

k3c · Le 18/02/2013, à 05:59

@ angeline

Très bonne question.
La seule possibilité qui me vient à l'esprit, c'est que tous les protocoles ne sont pas cochés, dans le proxy indiqué dans ton navigateur

angeline · Le 18/02/2013, à 06:01

Les navigateurs lisent ces vidéos SANS PROXY !

J5012 · Le 18/02/2013, à 09:57

@angeline : pluzzdl n'utilise pas de proxy, et dans sa forme actuelle utilise le mode mobile (pluzz encode un stream mobile qui est moins obfusque que la version encodee pour le web normal : on se demande pourquoi, c idiot, enfin ca nous arrange)

j'ai experimente souvent : dans l'heure qui suit une emission (tres souvent le jt), meme si l'emission est notifiee disponible, en pratique elle ne l'est pas ! (dans le navigateur) alors qu'elle etait en direct qqs minutes avant ! ...

angeline · Le 18/02/2013, à 13:03

@J5012 Bonjour,

J'ai 6 heures de décalage horaire, je ne regarde donc pas le jt de suite après le direct.
Presque toujours, l'émission est lisible par un navigateur, mais pluzzdl me dit:

HTTP Error 403: Forbidden

Voir msg 2727.

P.S.: Quand je dis "l'émission est lisible par un navigateur" elle n'est cependant pas agréable à suivre car entrecoupée par la lenteur de mon internet.

11gjm · Le 18/02/2013, à 16:34

Bonjour ,

@angeline : Oui, Oui ; je sais , on va me remonter "les bretelles" .
----
Pour Windows , il existe : Pluzzed ; v0.7b ( par czmaster )
Version portable à : "http://neo-net.fr/forum/down/pluzzed_07b.zip" .
----
Entrer l'adresse :
"http://pluzz.francetv.fr/videos/jt20h.html"

Clic sur "mode avancé" , puis
Sélectionner le téléchargement en fonction du débit (souhaité) .

NB: faire différents essais .

A+ .

angeline · Le 18/02/2013, à 16:43

@11gjm, merci, mais ce n'est pas cela qui fera avancer la version Ubuntu !

Et pis, j'ai pas de win$$$ sur le PC dédié "entertainment center".

Dernière modification par angeline (Le 18/02/2013, à 16:45)

JessicaNichenin · Le 18/02/2013, à 16:55

@k3c
merci

k3c · Le 19/02/2013, à 05:45

@ angeline

Avec Firefox ou Opera, qui te permet de regarder le journal, si tu vas sur
http://www.utrace.de/
ça te dit que tu es en France ou en Amérique du Sud ?

angeline · Le 19/02/2013, à 13:20

@k3c,
Bonjour, je suis bien en Amérique du sud ! Et avec un navigateur (normal sans proxy) je peux voir les JT.

k3c · Le 19/02/2013, à 14:15

@ angeline

ok, maintenant, la config réseau de ton navigateur

connexion
parametres
tu as quoi de renseigné ?

pas de proxy
détection automatique des paramètres de proxy
utiliser les params proxy du système
config manuelle du proxy

au cas où tu as cette derniere option, est ce que la case
utiliser ce serveur proxy pour tous les protocoles
est cochée ?

angeline · Le 19/02/2013, à 14:58

Pas de Proxy./

angeline · Le 19/02/2013, à 16:28

@k3c
Voici l'url trouvée par:

pluzzdl -v http://pluzz.francetv.fr/videos/jt20h.html

[DEBUG   ]  Navigateur.py       GET http://medias2.francetv.fr/catchup-mobile/france-dom-tom/non-token/non-drm/m3u8/2013/S08/J1/77497001-20130218.m3u8
[DEBUG   ]  Navigateur.py       Forbidden

Si je la passe dans un navigateur, je reçois:

Access Denied
 You don't have permission to access "http://medias2.francetv.fr/catchup-mobile/france-dom-tom/non-token/non-drm/m3u8/2013/S08/J1/77497001-20130218.m3u8" on this server.

 Reference #18.54bb2117.1361287584.287210b5

Avez-vous le même retour depuis la métropole ?

Dernière modification par angeline (Le 19/02/2013, à 16:29)

k3c · Le 19/02/2013, à 17:31

@ angeline
J'allais dire "ça peut pas marcher dans un navigateur si je prétends pas être un Ipad ou un téléphone mobile, vu d'abord que je change mon User Agent".

Et puis j'ai essayé direct et je télécharge le fragment

+ls -alrt Téléchargements/774*
-rw-rw-r-- 1 gg gg 1093972 févr. 19 17:28 Téléchargements/77497001-20130218-0.ts

Je donne ma langue au chat.

k3c · Le 19/02/2013, à 20:02

@ angeline

En fait il faudrait que tu fasses un autre test, tu ajoutes une extension Firefox pour changer ton User Agent en Ipad, comme ça tu seras comme pluzzdl quand il télécharge

Donc, tu actives ton User Agent, tu vérifies, par exemple en allant sur bbc.co.uk, et en vérifiant que tu es bien redirigée sur le site pour mobiles m.bbc.co.uk

Puis tu essayes de voir ton journal sur Pluzz.fr

chaoswizard · Le 19/02/2013, à 20:46

Bonjour,

Je ne vois pas trop le problème : la version mobile de Pluzz doit être plus restrictive sur les @IPs utilisées que la version web.
Donc c'est normal de pouvoir voir la vidéo dans un navigateur mais pas de la charger avec pluzzdl.

Dernière modification par chaoswizard (Le 19/02/2013, à 20:46)

J5012 · Le 19/02/2013, à 21:19

salut chaosw, perso je suis dans le pacific sud , bien plus bas que l'amerique du sud, avec un cable oceanique qui prend racine a hawai et est ensuite reroute en californie

aucun probleme pour telecharger quoique ce soit par pluzzdl, je suis en gmt-10 (avec des ip commencant par 202. en local, et 123. pour le cable)

@angeline : pourrais-tu modifier l'heure de ton dnl avec pluzzdl ?

11gjm · Le 19/02/2013, à 21:45

Bonjour ,

@angeline : Infos pour récupérer un flux mms , téléchargeable .

A l'aide "Firefox" :
A partir de la page : http://www.france2.fr/jt/20h/ , j'ai choisi le 20H du "20130218" ,
afin d'avoir l'adresse : http://pluzz.francetv.fr/videos/jt20h_,77497001.html .
Après démarrage de la vidéo , la mettre en pause ou quitter .

Dans une autre fenêtre "Firefox" :

_ Outils => Developpeur Web => Console Web ; dans la zone "Filtre" entrer "getinfo" .
_ Dans la zone adresses du navigateur entrer :
http://pluzz.francetv.fr/videos/jt20h_,77497001.html , puis valider .

La vidéo du journal démarre .
Dans la zone inférieure , cliquer sur http:....77497001 . On obtient :

---
http://www.france2.fr/appftv/webservices/video/getInfosOeuvre.php?mode=zeri&id-diffusion=77497001
on copie et colle cette adresse dans le navigateur . Dans cette page on peut y lire :
_ mms... .wmv
_ le script de l'émission

Ensuite on peut lancer une commande du type :
mplayer -cache 8000 -forceidx -noframedrop -dumpstream "mms://a988.v101995.c10199.e.vm.akamaistream.net/7/988/10199/3f97c7e6/ftvigrp.download.akamai.com/10199/cappuccino/production/publication/Autre/Autre/2013/S08/J1/744665_jt20h_20130218.wmv" -dumpfile "JT_20h.flv"
---

C'est long à démarrer ( même en France ) !!!
Cordialement .

11gjm · Le 21/02/2013, à 13:36

Bonjour ,

Explications simplifiées .

Constat effectué , au moins 12H après la diffusion de l'émission ,
le temps de créer le script lisible dans getInfosOeuvre .

Exemple : jt-20-heures-mercredi-20-fevrier-2013

"http://pluzz.francetv.fr/videos/jt20h_,77497090.html"

On peut créer l'adresse : "http:...diffusion=" + 77497090

"http://www.francetvinfo.fr/appftv/webse … n=77497090"

Que l'on colle dans le navigateur . Dans les sources de la page , rechercher : mms://... .wmv

Cordialement .

k3c · Le 27/02/2013, à 14:08

thom83 a écrit :

Bonjour,
@ k3c
J'ai testé la version 0.7 ci-dessus (la partie inférieure) avec succès après avoir ajouté le «main()» qui va bien.
Est-il possible d'améliorer cette version en favorisant les variantes HD des émissions plutôt qu'en SD, quitte à ce que cela prenne plus de place sur le disque ?
Cela ferait une différence sur un écran un peu grand...

Voici une version qui télécharge la version HD quand elle existe, pour les liens en rtmp seulement (pas en curl)

# -*- coding:utf-8 -*-
# TF1 TMC NT1 HD1 version 0.8 par k3c, telecharge lien en rtmpdump en HD, pas curl
import subprocess, optparse, re, sys, shlex
import socket
from urllib2 import urlopen
import time, md5, random, urllib2, json
import bs4 as BeautifulSoup
listeUserAgents = [ 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_5_5; fr-fr) AppleWebKit/525.18 (KHTML, like Gecko) Version/3.1.2 Safari/525.20.1',
                                                'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1',
                                                'Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27 Safari/525.',
                                                'Mozilla/5.0 (X11; U; Linux x86_64; en-us) AppleWebKit/528.5+ (KHTML, like Gecko, Safari/528.5+) midori',
                                                'Mozilla/5.0 (Windows NT 6.0) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.107 Safari/535.1',
                                                'Mozilla/5.0 (Macintosh; U; PPC Mac OS X; en-us) AppleWebKit/312.1 (KHTML, like Gecko) Safari/312',
                                                'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.12 Safari/535.11',
                                                'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.8 (KHTML, like Gecko) Chrome/17.0.940.0 Safari/535.8' ]

WEBROOTWAT          = "http://www.wat.tv"
wat_url      = "/web/"
jsonVideosInfos    = ""
def get_soup(url, referer):
    """ on récupère la soupe """
    ua = random.choice(listeUserAgents)
    req  = urllib2.Request(url)
    req.add_header('User-Agent', ua)
    req.add_header('Referer', referer)
    soup = urllib2.urlopen(req).read()
    return soup

def get_wat(id):
    """la fonction qui permet de retrouver une video sur wat"""
    def base36encode(number):
        if not isinstance(number, (int, long)):
            raise TypeError('number must be an integer')
        if number < 0:
            raise ValueError('number must be positive')
        alphabet = '0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ'
        base36 = ''
        while number:
            number, i = divmod(number, 36)
            base36 = alphabet[i] + base36
        return base36 or alphabet[0]
    ts = base36encode(int(time.time()))
    timesec = hex(int(ts, 36))[2:]
    while(len(timesec)<8):
        timesec = "0"+timesec
    token = md5.new("9b673b13fa4682ed14c3cfa5af5310274b514c4133e9b3a81e6e3aba00912564/web/"+str(id)+""+timesec).hexdigest()
    id_url1 = WEBROOTWAT+"/get"+wat_url+str(id)+"?token="+token+"/"+str(timesec)+"&country=FR&getURL=1"
    return id_url1

def main():
    """ recuperation de vidéos sur TF1/TMC/NT1/HD1 (donc WAT)"""
    # timeout en secondes
    socket.setdefaulttimeout(90)
    usage   = "usage: python tmc_tf1.py     [options] <url de l'emission>"
    parser  = optparse.OptionParser( usage = usage )
    parser.add_option( "--nocolor",         action = 'store_true', default = False, help = 'desactive la couleur dans le terminal' )
    parser.add_option( "-v", "--verbose",   action = "store_true", default = False, help = 'affiche les informations de debugage' )
    ( options, args ) = parser.parse_args()
    if( len( args ) > 2 or args[ 0 ] == "" ):
        parser.print_help()
        parser.exit( 1 )
    debut_id = ''
    html = urlopen(sys.argv[1]).read()
    nom = sys.argv[1].split('/')[-1:][0]
    no = nom.split('.')[-2:][0]
    soup = BeautifulSoup.BeautifulSoup(html)
    if 'tmc.tv' in str(soup) or 'tf1.fr' in str(soup):
        debut_id = str(soup.find('div', attrs={'class' : 'unique' }))
    if 'nt1.tv' in str(soup) or 'hd1.tv' in str(soup):
        debut_id = str(soup.find('section', attrs={'class' : 'player-unique' }))
    id = [x.strip() for x in re.findall("mediaId :([^,]*)", debut_id)][0]
    referer = [x.strip() for x in re.findall('url : "(.*?)"', debut_id)][0]
    id_url1 = get_wat(id)
    req  = urllib2.Request(id_url1)
    req.add_header('User-Agent', random.choice(listeUserAgents))
    req.add_header('Referer', referer)
    data = urllib2.urlopen(req).read()
    ua = random.choice(listeUserAgents)
    jsonVideoInfos = get_soup(WEBROOTWAT+'/interface/contentv3/'+id, referer)
    videoInfos     = json.loads(jsonVideoInfos)
    try :
        HD = videoInfos["media"]["files"][0]["hasHD"]
        data = data.replace('H264-384x288','HD-1280x720').replace('.h264','.hd')
        data0 = re.search('rtmpte://(.*)hd', data).group(0)
        wat_url = "/webhd/"
    except :
        wat_url = "/web/"  
        data0 = re.search('rtmpte://(.*)h264', data).group(0)  
    if data[0:4] == 'http':
        ua = random.choice(listeUserAgents)
        arguments = 'curl "%s" -C - -L -g -A "%s" -o "%s.mp4"' % (data, ua, no)
        print arguments
        p = subprocess.Popen(arguments, stdout=subprocess.PIPE, shell=True).communicate()[0]
    if data[0:4] == 'rtmp':
        host = re.search('rtmpte://(.*)/ondemand', data).group(1)
        host = host.replace('rtmpte', 'rtmpe')

        data0 = data0.replace('rtmpte','rtmpe')
        cmds = 'rtmpdump -r "%s" -c 443 -m 10 -w b23434cbed89c9eaf520373c4c6f26e1f7326896dee4b1719e8d9acda0c19e99 -x 343427 -o "%s.mp4" " --resume"' % (data0, str(no))
        f = open(str(no), 'w')
        f.write(cmds)
        f.close()
        arguments = shlex.split( cmds )
        print arguments
        cpt = 0 
        while True:
            p = subprocess.Popen( arguments,
                stdout=subprocess.PIPE, stderr=subprocess.PIPE)
            stdout, stderr = p.communicate()
            if p.returncode != 0:
                print "Erreur : le sous-process s\'est terminé avec (le code d\'erreur est " + str(p.returncode) + ")"
#                status = False
                if cpt > 5:
                    break
                cpt += 1
                time.sleep(3) 
            else:
                break
if __name__ == "__main__":
    main()

Dernière modification par k3c (Le 27/02/2013, à 16:22)

dubis22 · Le 27/02/2013, à 17:11

Bonjour,

Je viens de poster une question Ici....
Est ce que TVDownloader pourrait résoudre mon soucis???

k3c · Le 27/02/2013, à 19:08

dubis22 a écrit :

Bonjour,
Je viens de poster une question Ici....
Est ce que TVDownloader pourrait résoudre mon soucis???

Tvdownloader tel quel ne traite pas ce site russe, donc la réponse est non.
Par contre il est facile, grâce à KSV de récupérer cette vidéo.
Je t'ai répondu dans l'autre discussion.

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#2726 Le 18/02/2013, à 00:14

Re : TVDownloader: télécharger les médias du net !

#2727 Le 18/02/2013, à 00:31

Re : TVDownloader: télécharger les médias du net !

#2728 Le 18/02/2013, à 05:50

Re : TVDownloader: télécharger les médias du net !

#2729 Le 18/02/2013, à 05:55

Re : TVDownloader: télécharger les médias du net !

#2730 Le 18/02/2013, à 05:59

Re : TVDownloader: télécharger les médias du net !

#2731 Le 18/02/2013, à 06:01

Re : TVDownloader: télécharger les médias du net !

#2732 Le 18/02/2013, à 09:57

Re : TVDownloader: télécharger les médias du net !

#2733 Le 18/02/2013, à 13:03

Re : TVDownloader: télécharger les médias du net !

#2734 Le 18/02/2013, à 16:34

Re : TVDownloader: télécharger les médias du net !

#2735 Le 18/02/2013, à 16:43

Re : TVDownloader: télécharger les médias du net !

#2736 Le 18/02/2013, à 16:55

Re : TVDownloader: télécharger les médias du net !

#2737 Le 19/02/2013, à 05:45

Re : TVDownloader: télécharger les médias du net !

#2738 Le 19/02/2013, à 13:20

Re : TVDownloader: télécharger les médias du net !

#2739 Le 19/02/2013, à 14:15

Re : TVDownloader: télécharger les médias du net !

#2740 Le 19/02/2013, à 14:58

Re : TVDownloader: télécharger les médias du net !

#2741 Le 19/02/2013, à 16:28

Re : TVDownloader: télécharger les médias du net !

#2742 Le 19/02/2013, à 17:31

Re : TVDownloader: télécharger les médias du net !

#2743 Le 19/02/2013, à 20:02

Re : TVDownloader: télécharger les médias du net !

#2744 Le 19/02/2013, à 20:46

Re : TVDownloader: télécharger les médias du net !

#2745 Le 19/02/2013, à 21:19

Re : TVDownloader: télécharger les médias du net !

#2746 Le 19/02/2013, à 21:45

Re : TVDownloader: télécharger les médias du net !

#2747 Le 21/02/2013, à 13:36

Re : TVDownloader: télécharger les médias du net !

#2748 Le 27/02/2013, à 14:08

Re : TVDownloader: télécharger les médias du net !

#2749 Le 27/02/2013, à 17:11

Re : TVDownloader: télécharger les médias du net !

#2750 Le 27/02/2013, à 19:08

Re : TVDownloader: télécharger les médias du net !

Pied de page des forums