Contenu | Rechercher | Menus

Annonce

La nouvelle clé USB Ubuntu-fr est en prévente
Rendez-vous sur la boutique En Vente Libre

Si vous avez des soucis pour rester connecté, déconnectez-vous puis reconnectez-vous depuis ce lien en cochant la case
Me connecter automatiquement lors de mes prochaines visites.

À propos de l'équipe du forum.

#1 Le 11/09/2019, à 10:10

chinois02

[résolu]Fichier robot.txt d'un site web.

Bonjour,
Je suis tombé par hasard sur le fichier robot.txt d'un grand journal francophone (fichier sous la forme suivante: https://www.nom-du-journal.fr/robots.txt )
es-ce anormal? (dans ce cas là je signale l'accès au fichier au journal)

Dernière modification par chinois02 (Le 11/09/2019, à 12:57)


N'importe qui peut voir ce que tu sembles être; quelques rares seulement peuvent tâter ce que tu est. Et ces derniers n'osent contredire l'opinion du grand nombre, renforcés par toute la majesté de l'État. Machiavel-Le Prince.

Hors ligne

#2 Le 11/09/2019, à 10:24

chinois02

Re : [résolu]Fichier robot.txt d'un site web.

je me réponds à moi même:
ce genre de fichier doit sans doute être toujours public car c'est la même chose pour les journaux concurrents.


N'importe qui peut voir ce que tu sembles être; quelques rares seulement peuvent tâter ce que tu est. Et ces derniers n'osent contredire l'opinion du grand nombre, renforcés par toute la majesté de l'État. Machiavel-Le Prince.

Hors ligne

#3 Le 11/09/2019, à 11:20

pierrecastor

Re : [résolu]Fichier robot.txt d'un site web.

Salut,

Ce genre de fichier est par définition public, vu que c'est lui qui va dire au moteur de recherche quoi indexer sur le site.

https://www.commentcamarche.net/content … robots-txt


Oui c'est bien plus ouf et c'est bien bandant
Courir nu la bite à l'air, courir nue la fouffe au vent
Ludwig von 88 - Fracas

Hors ligne

#4 Le 11/09/2019, à 12:57

chinois02

Re : [résolu]Fichier robot.txt d'un site web.

C'est vrai, j'aurais dû y penser avant yikes.


N'importe qui peut voir ce que tu sembles être; quelques rares seulement peuvent tâter ce que tu est. Et ces derniers n'osent contredire l'opinion du grand nombre, renforcés par toute la majesté de l'État. Machiavel-Le Prince.

Hors ligne