Les règles d'un robots.txt peuvent devenir complexes, avec des jokers et des exceptions. Le testeur vous dit précisément si un robot donné peut explorer une URL et quelle règle s'applique.
Ce que fait l'outil
Il télécharge le robots.txt du site, identifie le groupe de règles correspondant au robot choisi, puis applique la logique officielle de Google : la règle la plus spécifique l'emporte, et Allow l'emporte à égalité.
Mode d'emploi
- Collez l'URL complète à tester.
- Choisissez le robot (Googlebot, Bingbot, GPTBot ou n'importe quel robot).
- Cliquez sur « Tester l'URL » et lisez le verdict et la règle correspondante.
Cas d'usage
- Vérifier qu'une page importante n'est pas bloquée par erreur.
- Contrôler qu'une section privée est bien exclue.
- Confirmer que les robots d'IA sont bloqués si vous le souhaitez.
Comprendre le résultat
« Autorisé » signifie que le robot peut explorer la page. « Bloqué » indique la ligne Disallow responsable. Si le site n'a pas de robots.txt, toutes les URL peuvent être explorées.
Rappel important
Une page bloquée dans robots.txt peut quand même apparaître dans Google si d'autres sites pointent vers elle. Pour l'exclure, laissez-la explorable et ajoutez une balise noindex.