Ubuntu-fr

Le Barde

[RÉSOLU] URL à accès restreint par un fichier robots.txt ?

Bonjour,

J'ai un nouveau site (pour la stratégie de contenu notamment). Le souci est que je n'arrive pas à faire accepter par Google mon robots.txt. Pourtant je ne vois pas ce qui flanche.

Voici ce que Google outils pour webmasters me dit :

URL à accès restreint par un fichier robots.txt

C'est vrai pour toutes les URL (dont le sitemap), mais pourtant le bouton Google+ fonctionne correctement...

Dernière modification par Le Barde (Le 16/06/2012, à 15:27)

belaur722

Re : [RÉSOLU] URL à accès restreint par un fichier robots.txt ?

Dans ton robots.txt, les deux dernières lignes signifient que tu interdis l'accès de l'intégralité de ton site à tous les robots d'indexation. C'est vraiment ce que tu veux ?

Sinon remplace "Disallow" par "Allow".

Le Barde

Re : [RÉSOLU] URL à accès restreint par un fichier robots.txt ?

Ben non... Il me semble justement quesi je mets :

User-agent: *
Disallow:

Ça a pour conséquence de d'interdire "Rien".
Sinon il me semble que pour interdire, il faut mettre Disallow: / (avec le /).

belaur722

Re : [RÉSOLU] URL à accès restreint par un fichier robots.txt ?

Ah oui...désolé pour le bruit... perso j'ai toujours des dossiers que je bloque à l'indexation alors j'avais même pas fais gaffe...
Ben du coup, je ne vois pas ce qui peut clocher.

Et en mettant simplement

User-agent: *
Sitemap: http://www.creasixtine.com/sitemap.xml

Qu'est ce que ça donne ?

slasher-fun

Re : [RÉSOLU] URL à accès restreint par un fichier robots.txt ?

Si tu ne veux rien interdire, alors ne mets pas la ligne Disallow.

Le Barde

Re : [RÉSOLU] URL à accès restreint par un fichier robots.txt ?

Ah, j'avais été trop impatient : en fait, mon robots.txt précédent n'était pas bon, et le googlebot n'avait pas encore fait la mise à jour

Merci pour vos réponses !
@Slasher-fun : mon robots.txt est inspiré de cet article Fran6art.

slasher-fun

Re : [RÉSOLU] URL à accès restreint par un fichier robots.txt ?

Ouais tiens, j'ai relu la doc à ce sujet et effectivement cette syntaxe est OK (alors qu'un vérificateur de robots.txt me disait que non...)