Mise à jour de l’outil de test Google pour les fichiers robots.txt

Google a annoncé sur son blog pour webmasters une nouvelle version plus interactive et complète de son outil de test du fichier robots.txt, présent dans ses Webmaster Tools.

Qu’est-ce qu’un robot.txt ?

Un robots.txt est un fichier texte qui, présent sur votre site, présentera des infos d’exploration aux crawlers des moteurs de recherches qui viennent indexer vos pages. Ainsi dès que le robot arrive sur votre site il recherchera le fichier robot.txt afin de suivre les indications données.

En cas d’absence du fichier robot.txt, le crawler indexe la totalité des pages lu car aucune indication et interdiction ne lui a été divulguée.

Pour cela, il est nécessaire en cas de présence de pages en maintenance ou de pages confidentielles de renseigner le fichier robot.txt.

Ainsi, même si la construction du robots.txt reste plutôt simple cela peut rapidement se compliquer si vous souhaitez bloquer l’accès à de nombreuses pages avec différentes URL.
Ayant conscience de cela, Google a alors lancé un nouvel outil test du fichier robots.txt.

Nouveautés de l’outil Test du fichier robots.txt

Disponible au sein de la section « Exploration » des Google Webmaster Tools l'outil de Test du fichier robots.txt vous montre si votre fichier robots.txt empêche Googlebot d'explorer un fichier ou un répertoire de votre site. Il permet notamment de voir le contenu de ce fichier, mais aussi de le modifier et de vérifier l'absence d'erreurs.

De plus, vous pouvez examiner les anciennes versions de votre fichier robots.txt et déterminer à quel moment des problèmes d'accès ont empêché l'exploration. Par exemple, si Googlebot détecte une erreur de serveur 500 sur le fichier robots.txt, nous suspendons généralement l'exploration du site Web.

Google précise que son site dédié aux développeurs référence les différentes directives reconnues par ses bots.

Un article si vous souhaitez Être bien indexé par Google.