python requests : collecte de données du forum après connexion

Watael · Le 28/04/2023, à 12:05

Salut,

je souhaiterais collecter les données de la page Nouveaux messages du forum, en python.
j'ai fait quelques tentatives infructueuses avec

s = requests.session()
s.post('https://forum.ubuntu-fr.org/login.php' , data = mesData)

où mesData reprend mes informations de connexion pour les champs req_username et req_password,
puis

resp = s.get('https://forum.ubuntu-fr.org/search.php?action=show_new')

où resp contient « Vous n'êtes pas autorisé(e) à afficher cette page. ».

ce n'est donc pas aussis simple que ça.
à côté de quoi suis-je passé ?

Dernière modification par Watael (Le 28/04/2023, à 15:12)

sputnick · Le 28/04/2023, à 14:28

A tu analysé la requete dans Chrome Dev Tools?

C'est pas compliqué ^^

Watael · Le 28/04/2023, à 15:21

o k , mais je dois regarder quoi ?
j'ai lu le HTML de la page de connexion, et j'ai repéré les champs à remplir ainsi que le bouton à valider.
mais je ne sais pas quoi faire de plus.

sputnick · Le 28/04/2023, à 16:02

Quel champs à tu repérés?

Watael · Le 28/04/2023, à 16:24

les champs req_username et req_password

Watael · Le 28/04/2023, à 16:26

tu sais qu'il y a des chances, que, si tu me dis que ce que je dois regarder est au bout de ton doigt, je regarde le blanc de ton ongle.

Dernière modification par Watael (Le 28/04/2023, à 16:28)

Watael · Le 28/04/2023, à 16:48

j'ai gardé le message original, si il faut le restaurer.

Dernière modification par Watael (Le 28/04/2023, à 17:18)

sputnick · Le 28/04/2023, à 16:58

Je ne suis pas trop pour que trop de personnes puissent reproduire ça en mode yollo. (A moins qu'un admin nous permette de rendre ça publique).

J'ai le code, mais je ne souhaite pas le partager.

Je peut t'aider à comprendre, mais je préfère qu'on ne publie pas le code, pour le bien des ressources du forum.

'qui sait... peut-être, un jour...'

C'est quoi ça?

Edit: ah ok, ton password

Dans ton dict, il te manque des petits...

https://imgur.com/s2AzLFX.png

Mon conseil est à prendre de façon littérale. Il manque un oisillon dans l'image...

Modération - Image qui alourdit inutilement le fil

Dernière modification par cqfd93 (Le 28/04/2023, à 17:24)

Watael · Le 28/04/2023, à 17:12

Je ne suis pas trop pour que trop de personnes puissent reproduire ça en mode yollo.

je comprends.
il n'y a pas que forum.ubuntu-fr que je veuxdois stalker

<edit>je suis sûr qu'il manque un caneton, et c'est ma question : lequel ?</edit>

en MP ?

Dernière modification par Watael (Le 28/04/2023, à 17:15)

geole · Le 28/04/2023, à 17:34

Watael a écrit :

Salut,
je souhaiterais collecter les données de la page Nouveaux messages du forum, en python.

Bonjour
Ce n'est pas tout à fait la même chose.

sputnick · Le 28/04/2023, à 17:34

Watael: Regarde (mieux) les paramètres de la requête POST dans Chrome|Firefox Dev Tools.

cqfd93: pourquoi ne pas désactiver purement et simplement dans l'éditeur BBcode d'ajouter une image?

Watael · Le 28/04/2023, à 17:40

sputnick a écrit :

Watael: Regarde (mieux)

ah, d'accord! alors, je vais me rapprocher de l'écran en écarquillant les yeux jusqu'à ce que ça brûle.

Dernière modification par Watael (Le 28/04/2023, à 17:56)

Watael · Le 28/04/2023, à 17:54

geole a écrit :

Ce n'est pas tout à fait la même chose.

en effet, requests n'a pas les mêmes fonctions/méthodes, afaik.

sputnick · Le 28/04/2023, à 17:55

Savoir utiliser Dev Tools est fondamental en dev.

Ce que tu a fait, c'est regarder le HTML. Mais ça ne te donnera pas la bonne requête à reproduire comme le fait un navigateur.

Voir https://stackoverflow.com/a/39661536

Watael · Le 28/04/2023, à 18:03

j'ai regardé le dev tool, à network, et je vois l'adresse complète de la requête.
je ne vais pas tout copier au pif alors qu'il ne manque qu'un paramètre.

sputnick · Le 28/04/2023, à 18:48

Rappelle toi les oisillons, c'était une métaphore pour t'expliquer le nombre de paramètres que tu a zappé.

Sélectionne la requête dans Dev Tools et regarde dans la partie de droite quel sont les paramètres.

Watael · Le 28/04/2023, à 19:25

t'es sûr que tu ne veux pas me donner la réponse en MP, parce que là je ne vois pas de quoi tu parles;

dans les dev tools, à network, j'ai ça https://ibb.co/X55vpzH et ça ne m'aide pas.

Dernière modification par Watael (Le 28/04/2023, à 19:26)

sputnick · Le 28/04/2023, à 19:44

Non, je veut que tu sache utilise Dev Tools

Donne un poisson à un homme et tu le nourriras pour un jour ; apprends-lui à pêcher et tu le nourriras pour toujours. Confucius.

Piste: la requête est fugace.

krodelabestiole · Le 28/04/2023, à 20:13

par curiosité, c'est pour faire quoi ?

la page messages récents ne requiert pas d'auth, mais je suppose que ça te convient pas.

l'autre forum que tu dois "stalker" c'est aussi du fluxBB ?

Watael · Le 28/04/2023, à 20:27

par curiosité, c'est pour faire quoi ?

c'est pour m'éviter de manipuler la souris (nany dis "vieux réac" , moi, je dis "gros flemmard inside" )
et pour savoir le (re)faire.*

l'autre forum que tu dois "stalker" c'est aussi du fluxBB ?

je ne me posais pas la question.
je pensais récupérer du HTML, après avoir POSTé du HTTP.

les "messages récents" ne prennent pas en compte ma précédente visite pour (tiens!? je n'avais pas encore pensé à ça) marquer le forum comme lu...
--
* le troisième point que tu soulèves me fait douter de la possibilité de reproduire le mécanisme de connexion de ce forum à d'autres.
peut-être si je sais quoi regarder dans le devtools d'un navigateur traditionnel.

Dernière modification par Watael (Le 29/04/2023, à 02:05)

krodelabestiole · Le 28/04/2023, à 20:59

Watael a écrit :

c'est pour m'éviter de manipuler la souris

hmmm... par curiosité (encore) je viens de tester sur lynx et je peux valider l'authentification permanente sur https://forum.ubuntu-fr.org/login.php mais une fois fermé je ne suis plus logué donc pas accès aux nouveaux messages sur https://forum.ubuntu-fr.org/search.php?action=show_new (peut-être moyen d'envoyer manuellement des données en post avec lynx, j'ai pas poussé la question)

tu veux juste récup une liste avec des liens vers les nouveaux messages ? à un moment t'es bien obligé d'utiliser la souris, non ?

sputnick · Le 28/04/2023, à 21:02

krodelabestiole a écrit :

à un moment t'es bien obligé d'utiliser la souris, non ?

Non

D'où l'utilisation de requests.

avec Selenium ou https://pptr.dev ça serait trop facile et trop lourd, car il n'y a pas de JS ici.

Watael · Le 28/04/2023, à 21:10

krodelabestiole a écrit :

à un moment t'es bien obligé d'utiliser la souris, non ?

oui, mais si peu.
pour d'autres forums dont je récupère les messages avec python+requests+bs4, dans le terminal (urxvt -e 'vim +term'), je surligne le lien à la souris, il y a un raccourci clavier (dans spectrwm) pour aller sur l'espace de travail où est ouvert le navigateur (dès l'ouverture de la session sectrwm), puis Ctrl-T + Ctrl-L + Ctrl-V + enter
et hop! j'ai le message.

Dernière modification par Watael (Le 28/04/2023, à 21:11)

Watael · Le 29/04/2023, à 00:18

par contre, pour l'instant, je me débrouille sans identification, et je me dis que ce serait mieux
de m'identifier
de bénéficier des avantages offerts à l'inscription

sinon, à quoi sert d'être inscrit ?

Watael · Le 29/04/2023, à 02:10

dans le terminal (urxvt -e 'vim +term'), je surligne le lien à la souris,

mais je pourrais très me dispenser totalement de la souris, puisque vim permet de sélectionner ce qui est dans le terminal et d'enregistrer la sélection vers xsel
mais, pour le coup, c'est plus vite fait à la souris.

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 28/04/2023, à 12:05

python requests : collecte de données du forum après connexion

#2 Le 28/04/2023, à 14:28

Re : python requests : collecte de données du forum après connexion

#3 Le 28/04/2023, à 15:21

Re : python requests : collecte de données du forum après connexion

#4 Le 28/04/2023, à 16:02

Re : python requests : collecte de données du forum après connexion

#5 Le 28/04/2023, à 16:24

Re : python requests : collecte de données du forum après connexion

#6 Le 28/04/2023, à 16:26

Re : python requests : collecte de données du forum après connexion

#7 Le 28/04/2023, à 16:48

Re : python requests : collecte de données du forum après connexion

#8 Le 28/04/2023, à 16:58

Re : python requests : collecte de données du forum après connexion

#9 Le 28/04/2023, à 17:12

Re : python requests : collecte de données du forum après connexion

#10 Le 28/04/2023, à 17:34

Re : python requests : collecte de données du forum après connexion

#11 Le 28/04/2023, à 17:34

Re : python requests : collecte de données du forum après connexion

#12 Le 28/04/2023, à 17:40

Re : python requests : collecte de données du forum après connexion

#13 Le 28/04/2023, à 17:54

Re : python requests : collecte de données du forum après connexion

#14 Le 28/04/2023, à 17:55

Re : python requests : collecte de données du forum après connexion

#15 Le 28/04/2023, à 18:03

Re : python requests : collecte de données du forum après connexion

#16 Le 28/04/2023, à 18:48

Re : python requests : collecte de données du forum après connexion

#17 Le 28/04/2023, à 19:25

Re : python requests : collecte de données du forum après connexion

#18 Le 28/04/2023, à 19:44

Re : python requests : collecte de données du forum après connexion

#19 Le 28/04/2023, à 20:13

Re : python requests : collecte de données du forum après connexion

#20 Le 28/04/2023, à 20:27

Re : python requests : collecte de données du forum après connexion

#21 Le 28/04/2023, à 20:59

Re : python requests : collecte de données du forum après connexion

#22 Le 28/04/2023, à 21:02

Re : python requests : collecte de données du forum après connexion

#23 Le 28/04/2023, à 21:10

Re : python requests : collecte de données du forum après connexion

#24 Le 29/04/2023, à 00:18

Re : python requests : collecte de données du forum après connexion

#25 Le 29/04/2023, à 02:10

Re : python requests : collecte de données du forum après connexion

Pied de page des forums