Le fichier robots.txt indique aux robots des moteurs de recherche quelles parties du site ils peuvent explorer. Une erreur dans ce petit fichier peut bloquer tout un site, d'où l'intérêt de le générer proprement.
Ce que fait l'outil
Vous choisissez à quels robots s'appliquent les règles, les chemins à interdire et à autoriser, un éventuel délai d'exploration et l'URL de votre sitemap. Une option permet de bloquer les robots d'entraînement d'IA (GPTBot, CCBot, Google-Extended…).
Mode d'emploi
- Choisissez les robots concernés (tous ou seulement Googlebot).
- Listez les chemins à bloquer, un par ligne (par exemple /admin/ ou /panier/).
- Ajoutez l'URL du sitemap puis téléchargez le fichier.
Ce qu'il faut bloquer
- Les espaces d'administration et de connexion.
- Le panier, le compte client et les pages de recherche interne.
- Les URL avec paramètres de tri qui créent des doublons.
Ce qu'il ne faut jamais bloquer
Les fichiers CSS et JavaScript nécessaires à l'affichage, ni les pages que vous voulez voir dans Google. Attention : robots.txt bloque l'exploration, pas l'indexation. Pour retirer une page de Google, utilisez une balise noindex.
Après la mise en ligne
Placez le fichier à la racine du domaine et testez vos règles avec notre testeur de robots.txt.