Robots.txt
le fichier qui peut rendre invisible

C'est l'un des premiers fichiers que je contrôle lors d'un audit de référencement naturel : rarement la cause d'un bon classement, souvent celle d'une disparition.

À quoi sert le robots.txt

Le fichier se trouve toujours à la même adresse : votresite.fr/robots.txt. Avant d'explorer un site, les robots bien élevés — Googlebot, Bingbot, les robots des IA — le lisent pour savoir où ils peuvent aller. Selon la documentation de Google, son rôle premier est de gérer le trafic des robots, par exemple pour éviter qu'ils ne surchargent le serveur ou perdent leur temps dans des zones sans intérêt.

Pour un site de TPE, trois usages sont vraiment utiles :

• écarter les zones techniques : scripts de formulaire, recherche interne, espaces de test ;
• indiquer l'adresse du sitemap XML ;
• régler l'accès des robots d'IA, robot par robot — sujet détaillé dans mon guide GPTBot, ClaudeBot, PerplexityBot.

Sans fichier robots.txt, rien de grave : Google considère simplement que tout peut être exploré.

La syntaxe que Google comprend

La spécification de Google, alignée sur le standard RFC 9309, tient en peu de règles :

Instruction	Rôle
User-agent	Le robot concerné (* pour tous). Ouvre un groupe de règles.
Disallow	Chemin interdit à l'exploration.
Allow	Exception autorisée à l'intérieur d'un chemin interdit.
Sitemap	Adresse complète du sitemap, indépendante des groupes.

# Tous les robots : tout est permis sauf deux zones
User-agent: *
Disallow: /recherche/
Disallow: /*?tri=
Allow: /recherche/aide.html

Sitemap: https://www.votresite.fr/sitemap.xml

• * remplace n'importe quelle suite de caractères, $ marque la fin de l'adresse (Disallow: /*.pdf$).
• Les chemins sont sensibles à la casse : /Admin/ et /admin/ sont deux règles différentes.
• En cas de conflit, Google applique la règle au chemin le plus long, donc la plus précise ; à égalité, la moins restrictive.
• Un robot suit un seul groupe : celui qui le désigne le plus précisément. Un groupe User-agent: Googlebot remplace entièrement le groupe * pour Googlebot.
• Taille maximale : 500 Kio, le reste est ignoré. Google garde généralement le fichier en cache jusqu'à 24 heures.

Ce que le robots.txt ne sait pas faire

• Cacher une page. Google l'écrit noir sur blanc : une page interdite peut encore être indexée si d'autres sites y renvoient, avec son adresse mais sans description. Pour retirer une page, il faut la laisser explorable et lui ajouter une balise noindex (méthode officielle). Bloquer la page dans le robots.txt empêcherait justement Google de lire ce noindex.
• Désindexer via noindex dans le fichier. Google a cessé de tenir compte de cette instruction non documentée le 1^er septembre 2019 (annonce de Google).
• Ralentir Googlebot. Crawl-delay n'est pas pris en charge par Google.
• Protéger des données. Le fichier est public et les robots malveillants l'ignorent. Pire : lister /espace-client/ indique où chercher. Les zones privées se protègent par mot de passe côté serveur.

Les 6 erreurs qui bloquent un site

1. Le Disallow: / de la préproduction, conservé après la mise en ligne. Symptôme : un site neuf qui n'apparaît jamais — voir pourquoi mon site n'apparaît pas sur Google.
2. Bloquer les fichiers CSS et JavaScript. Google ne peut plus afficher la page comme un visiteur et la juge mal, notamment sur mobile.
3. Bloquer une page pour la faire disparaître, au lieu d'utiliser noindex ou une redirection 301.
4. Une règle trop large : Disallow: /blog bloque aussi /blog-actualites/ et /blogueurs.html, puisque la règle s'applique à tout ce qui commence ainsi.
5. Un groupe dédié qui oublie les interdictions générales : les règles du groupe * ne s'y appliquent plus.
6. Un robots.txt en erreur serveur. Si le fichier renvoie une erreur 5xx, Google suspend l'exploration du site pendant 12 heures, puis s'appuie sur la dernière version en cache ; une erreur 404, elle, est traitée comme l'absence de fichier (codes de statut HTTP).

Tester son fichier dans la Search Console

• Le rapport robots.txt (Paramètres > robots.txt) affiche les fichiers trouvés par Google pour vos principaux hôtes, la date de dernière lecture et les problèmes d'analyse. Après une correction urgente, il permet de demander une nouvelle exploration du fichier (aide Google).
• L'inspection d'URL indique si une page précise est « bloquée par le fichier robots.txt ».
• Le rapport d'indexation signale deux cas à surveiller : « Bloquée par le fichier robots.txt » et « Indexée malgré le blocage par le fichier robots.txt », signe qu'on a voulu cacher une page avec le mauvais outil.

Tous ces rapports sont présentés dans mon guide de la Search Console.

Mon robots.txt commenté

Mon fichier est public : bapst-technologies.com/robots.txt. Il tient en une vingtaine de lignes :

• un groupe User-agent: * qui autorise tout, sauf le script d'envoi des formulaires ;
• un groupe dédié aux robots d'IA (OpenAI, Anthropic, Perplexity, Google-Extended, Common Crawl) qui les autorise explicitement — et qui répète l'interdiction du script, puisqu'un groupe dédié remplace le groupe général ;
• la ligne Sitemap avec l'adresse complète.

Aucune page n'y est « cachée » : ce qui ne doit pas être indexé porte une balise noindex. C'est la même logique que j'applique aux sites de mes clients, dans l'Ain — à Bourg-en-Bresse, Montluel — comme à distance, dans le cadre de mon accompagnement SEO. Pour aller plus loin, le budget de crawl et la balise meta robots sont définis dans le lexique.

Questions fréquentes

Un site a-t-il obligatoirement besoin d'un robots.txt ?
Non. Sans fichier robots.txt, Google considère que tout le site peut être exploré. Le fichier devient utile pour éviter l'exploration de zones sans intérêt, indiquer l'adresse du sitemap ou régler l'accès de certains robots.

Comment retirer une page de Google avec le robots.txt ?
On ne le fait pas avec le robots.txt. Une page bloquée peut rester dans les résultats si d'autres sites la citent. Il faut au contraire la laisser explorable et lui ajouter une balise meta robots noindex, ou la protéger par mot de passe.

Combien de temps pour qu'une modification du robots.txt soit prise en compte ?
Google met généralement le fichier en cache jusqu'à 24 heures. Pour accélérer après une correction importante, la Search Console permet de demander une nouvelle exploration du robots.txt depuis son rapport dédié.

Le robots.txt protège-t-il des pages confidentielles ?
Non. Le fichier est public et seuls les robots respectueux le suivent. Lister une zone sensible revient même à indiquer où elle se trouve. Les pages privées doivent être protégées par un mot de passe côté serveur.

À lire aussi : le sitemap XML, les robots d'IA, « détectée, actuellement non indexée » et le lexique SEO & GEO. Nouveaux guides : la balise canonical.