Lancé en début du mois de juillet 2014, le testeur de fichier robots.txt doit aider les non-développeurs à contrôler les ordres d’indexation et les modifications du réalisées sur ce fichier.
Vous n’avez pas ce fichier ou vous ne savez pas à quoi il sert ? Je vous engage à lire d’abord l’article Le fichier robots.txt pour garder un peu de contrôle sur les crawlers publié précédemment.
Comment tester son fichier avec Google Webmaster Tools ?
- Connectez-vous à votre compte Google Webmaster Tools (appelée maintenant la Search Console),.
- Rendez-vous dans Exploration>outil de test du fichier robots.txt. Si votre fichier existe, est correctement placé à la racine de votre site et est bien nommé robots.txt, vous devez voir apparaître son contenu dans la page.
Au dessus, vous pouvez aussi lire la dernière version chargée par Google Webmaster Tools (par exemple : Dernière version vue le 06/07/2014 04:39 OK(200) 992 octets, comme ci-dessous).
200 signifie que votre fichier est accessible. Et le Ok, que tout est ok dans son accessibilité. 
Sous le contenu de votre fichier, des warnings vous indique le nombre d’erreurs et d’avertissements. Si vous en avez, il faut corriger votre fichier, et en priorité les erreurs.
- Sous ces mentions, vous pouvez tester si les robots (Googlebot, Googlebot-News, Googlebot-Mobile, Googlebot-Image, Mediapartners-Google…) comprennent bien vos directives et les prennent en compte.
Saisissez une URL d’un fichier sensible et lancer le test. - Vous obtiendrez un résultat similaire à celui ci-dessous si votre fichier robots est bien lu par Google.
Bon test !
Commentaires récents