Tester son fichier robots.txt dans Google Search

par | Mis à jour le 07/11/2020 | Publié le 05/08/2014 | Comment bien référencer son site internet ? | 0 commentaires

Résumé : Testeur de fichier robots.txt de Google Webmaster Tool vous permet de vérifier erreurs, l'indexation fichiers sensibles, allow et disallow ...
Cet article comporte 250 mots.

1

Lancé en début du mois de juillet 2014, le testeur de fichier robots.txt doit aider les non-développeurs à contrôler les ordres d’indexation et les modifications du réalisées sur ce fichier.

Vous n’avez pas ce fichier ou vous ne savez pas à quoi il sert ? Je vous engage à lire d’abord l’article Le fichier robots.txt pour garder un peu de contrôle sur les crawlers publié précédemment.

Comment tester son fichier avec Google Webmaster Tools ?

  1. Connectez-vous à votre compte Google Webmaster Tools (appelée maintenant la Search Console),.
  2. Rendez-vous dans Exploration>outil de test du fichier robots.txt. Si votre fichier existe, est correctement placé à la racine de votre site et est bien nommé robots.txt, vous devez voir apparaître son contenu dans la page.
    Au dessus, vous pouvez aussi lire la dernière version chargée par Google Webmaster Tools (par exemple : Dernière version vue le 06/07/2014 04:39 OK(200) 992 octets, comme ci-dessous).
    200 signifie que votre fichier est accessible. Et le Ok, que tout est ok dans son accessibilité.
  3. Google Webmaster Tools - tester son fichier robots.txt
    Sous le contenu de votre fichier, des warnings vous indique le nombre d’erreurs et d’avertissements. Si vous en avez, il faut corriger votre fichier, et en priorité les erreurs.
    Google Webmaster Tools - erreur dans le fichier robots.txt
  4. Sous ces mentions, vous pouvez tester si les robots (Googlebot, Googlebot-News, Googlebot-Mobile, Googlebot-Image, Mediapartners-Google…) comprennent bien vos directives et les prennent en compte.
    Saisissez une URL d’un fichier sensible et lancer le test.
  5. Vous obtiendrez un résultat similaire à celui ci-dessous si votre fichier robots est bien lu par Google.
    Google Webmaster Tools - test d'exploration
    Bon test !

Les E-books

Rédiger son cahier des charges

Tout ce qu’il faut pour bien s’entendre avec son prestataire

Google Data Studio

Faîtes parler vos données !

Tests de connaissances

Newsletter 5Min/mois

Recevez notre newsletter pour consulter l’essentiel du marketing.

Articles pouvant vous intéresser

Le lien hypertexte : un allier du SEO ?

Le lien hypertexte : un allier du SEO ?

Le lien hypertexte, on le connaît depuis longtemps. Apparu avec le web, il fait partie intégrante de l'univers d'internet et des outils numériques et on ne le remarque plus. Pourtant pour le...

Comment insérer la balise hreflang ?

Comment insérer la balise hreflang ?

Si vous souhaitez informer Google que votre site est multilingue et que les mêmes pages dans des langues différentes ne sont pas des Duplicate contents, il vous faut insérer dans votre site la...

0 commentaires

Soumettre un commentaire

Votre adresse e-mail ne sera pas publiée.

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Avertissement : L’url du site web ne sera pas affichée dans le commentaire et toute url placée dans le commentaire sera systèmatiquement effacée avant sa publication.

Pin It on Pinterest

Share This