Robots IA : trois décisions à prendre, et le blocage que personne n'a décidé

Autoriser ou bloquer les robots IA n'est pas une décision unique. Ce sont trois décisions : laisser un moteur vous trouver, laisser un utilisateur faire lire votre page par son assistant, laisser un éditeur entraîner ses modèles sur vos contenus. Pour une marque qui vend, la position par défaut se défend en une phrase : ouvrez les deux premières, et traitez la troisième comme une question de droits, pas de visibilité.

Le risque le plus concret n'est pas le mauvais arbitrage. C'est le blocage que personne n'a décidé : une politique de CDN, un réglage de Search Console, une balise héritée d'un ancien gabarit. Aucun rapport marketing ne les signale.

Ce guide suit la documentation de chaque éditeur, lue au 5 novembre 2026. Relisez-la avant d'agir : le 30 octobre 2026, Google, Microsoft et Anthropic ont tous trois annoncé ou daté une évolution de leurs contrôles.

Quelle différence entre entraînement, recherche et lecture à la demande ?

La finalité, et donc ce que vous perdez en fermant. Un robot d'entraînement est un robot qui collecte des pages pour améliorer les futurs modèles d'un éditeur, sans lien direct avec une question posée aujourd'hui. Un robot de recherche alimente l'index où le moteur puise ses réponses et ses liens. Une lecture à la demande part de l'action d'un utilisateur : l'assistant ouvre une page parce qu'on le lui a demandé.

Source : documentations d'OpenAI, Anthropic, Perplexity et Google, consultées le 5 novembre 2026.

Le tableau défait trois idées reçues. Fermer GPTBot ou ClaudeBot n'est pas se retirer des réponses de recherche : ce sont OAI-SearchBot et Claude-SearchBot qui en décident. Inversement, une règle pensée contre « les IA » qui attrape aussi ces deux robots coûte une visibilité que personne ne voulait céder. Enfin, robots.txt ne tient pas partout les lectures à la demande : pour les fermer à coup sûr chez OpenAI ou Perplexity, passez par le pare-feu applicatif (WAF). Le cas d'OAI-AdsBot est à part : il ne visite que les pages soumises comme annonces sur ChatGPT, et ne concerne que les annonceurs.

Pourquoi Google est-il le cas à part ?

Parce qu'aucun robot IA distinct ne commande AI Overviews ni AI Mode. Selon Google, une page y est admissible si elle est indexée et peut s'afficher avec un extrait, sans autre exigence technique. Trois leviers existent, à trois niveaux :

• La balise, page par page. nosnippet, data-nosnippet, max-snippet et noindex limitent ce qui s'affiche, dans Search en général.
• Le réglage du site. Search generative AI, dans les paramètres de la Search Console, déployé dans le monde au 31 août 2026, inclut ou exclut le site d'AI Overviews, d'AI Mode et des fonctions d'IA générative de Discover. Google indique qu'il ne sert pas de signal de classement ailleurs dans Search et qu'il ne touche pas à l'entraînement.
• Google-Extended. Il ne figure jamais dans vos logs : Google précise qu'il n'a pas de chaîne de requête propre. Une ligne qui s'en réclame est donc fausse.

Le piège tient à ce dernier jeton. Il est souvent rangé parmi les réglages d'entraînement, alors que Google lui rattache aussi l'ancrage (grounding), c'est-à-dire le contenu de l'index fourni au modèle au moment de la question, dans Gemini Apps et Vertex AI. Le fermer n'est donc pas neutre pour votre présence dans Gemini. Pour le contexte français de ces fonctions, voir les premiers chiffres d'AI Overviews en France.

Que change le signal commun annoncé pour 2027 ?

Il permet de refuser l'entraînement en une ligne, et il appelle deux vérifications. Le signal vient des travaux du groupe AIPREF de l'IETF. Microsoft en documente le jeton robots.txt, __usage_ai-training, et Google annonce sa prise en charge pour 2027. Anthropic indique reconnaître depuis le 30 octobre 2026 un signal fondé sur un brouillon de ce groupe, avec un déploiement progressif, et une règle qui nomme ClaudeBot l'emporte sur le réglage général.

• Microsoft, 1er mars 2027. Le Bing Blog annonce la prise en compte des nouvelles préférences à partir du 1er février 2027. Après le 1er mars 2027, NOARCHIVE et NOCACHE ne seront plus lues comme préférences d'entraînement ou d'ancrage. L'ancrage, réglé page par page (ai-grounding:disallow), ne figure pas dans robots.txt, et un blocage de Bingbot par robots.txt reste prioritaire. Les sites qui emploient ces balises pourront enregistrer une préférence temporaire dans Bing Webmaster Tools, ouverte le 15 décembre 2026, avant le 1er mars 2027 ; faute de quoi leurs pages sont traitées par défaut comme autorisant l'ancrage, jusqu'au prochain passage du robot. Si ces balises sont dans vos gabarits, c'est un chantier à dater.
• Google, 2027. Si un site refuse l'entraînement avec le jeton commun sans mentionner Google-Extended, Google prévoit de traiter ce refus comme une interdiction de Google-Extended. Or Google écrit que les sites qui autorisent explicitement Google-Extended restent admissibles aux réponses et aux clics par l'ancrage dans Gemini Apps. Qui veut refuser l'entraînement ailleurs tout en restant éligible à cet ancrage devra donc l'écrire.

Quel réglage choisir selon votre situation ?

Celui qui suit la valeur du contenu, pas une position de principe sur l'IA.

Grille de lecture de l'auteur, à adapter à vos contrats.

La dernière ligne compte : la norme RFC 9309 rappelle que ces règles « are not a form of access authorization ». Un robots.txt est une demande adressée à des robots, et il publie la liste des chemins que vous préférez taire.

Que sait-on du coût d'un blocage ? Peu de choses, et rien sur les marques. La mesure la plus sérieuse repérée est un préprint de Hangcheng Zhao et Ron Berman, révisé le 15 avril 2026 : par comparaison entre éditeurs de presse bloquants et non bloquants, le trafic total recule d'environ 7 % dans les six semaines (SimilarWeb, Semrush). L'effet sur le trafic humain, mesuré via Comscore, est du même ordre mais imprécis, et l'ensemble cesse d'être significatif après une vingtaine de semaines. Il ne ressort que pour les 50 plus grands sites dans l'échantillon élargi, et la fenêtre s'arrête en mai 2024, avant AI Overviews. Si vous croisez le chiffre de 23 %, il vient du résumé de la première version de ce travail, depuis révisée.

Au 5 novembre 2026, aucun test contrôlé n'a été repéré sur l'effet, pour une marque, d'ouvrir ou de fermer les robots d'entraînement.

À quoi ressemble un robots.txt cohérent ?

À un fichier qui nomme les robots par famille et répète ses exclusions, car un groupe nommé remplace le groupe générique. Exemple illustratif, pour une marque fictive qui referme l'entraînement par choix de droits :

# Recherche : ouvert
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /compte/
Disallow: /panier/

# Lecture à la demande : ouvert
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Disallow: /compte/
Disallow: /panier/

# Entraînement : fermé
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /

# Gemini : entraînement et ancrage vont ensemble, décision à part
User-agent: Google-Extended
Allow: /

# Tous les autres, dont Googlebot et Bingbot
User-agent: *
Disallow: /compte/
Disallow: /panier/

Quatre règles à connaître :

• Pas d'héritage. Selon la RFC 9309, un robot suit les groupes qui le nomment, et ne se rabat sur * qu'en l'absence de groupe correspondant. Un robot nommé ignore donc vos exclusions génériques.
• La règle la plus longue gagne. C'est le chemin le plus spécifique qui l'emporte en cas de conflit, pas l'ordre des lignes.
• Un fichier par sous-domaine. Anthropic le rappelle pour ses robots : le blog, la boutique et l'aide se règlent chacun.
• Une erreur serveur ferme tout. Si robots.txt répond en 5xx, la norme impose au robot de supposer une interdiction complète. S'il répond en 4xx, le robot peut tout lire. Comptez environ 24 heures pour la prise en compte d'un changement, selon OpenAI et Perplexity.

D'où viennent les blocages que personne n'a décidés ?

De couches que l'équipe marketing ne voit pas. Aucune étude solide n'en chiffre la fréquence : seule une vérification chez vous le dira.

• La politique IA du CDN. L'idée que Cloudflare bloque les robots IA par défaut ne correspond plus à sa documentation : mise à jour le 2 novembre 2026, elle indique que les nouveaux domaines laissent passer les trois familles (Search, Agent, Training) et que le blocage se choisit. Reste à regarder ce qui a été choisi chez vous. La famille Training de Cloudflare inclut les robots à double usage, entraînement et recherche.
• La protection anti-bots. Perplexity avertit que le mode Bot Fight de Cloudflare ne peut pas être contourné par une règle personnalisée et peut continuer à défier ses robots. Sur AWS WAF, le même guide place la règle d'autorisation avant les règles de blocage.
• Le blocage par adresse IP. Anthropic prévient qu'il peut échouer à garantir un refus durable, car il empêche ses robots de lire votre robots.txt.
• Les règles de pays ou de débit. Un filtre réservé à la France ou une limite de requêtes peut renvoyer une erreur à un robot légitime. À vérifier chez vous : aucun éditeur ne le documente.
• Les réglages hérités. L'exclusion Search generative AI dans la Search Console, nosnippet ou NOARCHIVE posés sur un gabarit, un robots.txt copié d'une préproduction.

Comment vérifier dans vos logs que la décision s'applique ?

En regardant qui vient, ce qu'il reçoit, et si c'est bien lui. Une commande suffit pour un premier filtre, à adapter au format de vos logs :

grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -30

Quatre précautions pour lire le résultat :

• Lisez les logs du CDN, pas seulement ceux de l'origine. Une requête refusée en bordure n'atteint jamais votre serveur : l'origine montrera une absence, pas un refus.
• Vérifiez l'adresse. Le nom du robot se falsifie. OpenAI, Anthropic et Perplexity publient leurs plages d'adresses en JSON, et Google documente une vérification par DNS inverse. Perplexity recommande de contrôler les deux ensemble.
• Méfiez-vous du test avec un faux nom de robot. Un curl depuis votre poste teste une règle sur le nom, pas le traitement réservé aux vrais robots vérifiés.
• Ne concluez pas d'une absence. Une fenêtre courte sans visite ne prouve pas un blocage. Ne vous alarmez pas non plus des 404 : Vercel en mesurait 34,82 % sur les requêtes de ChatGPT et 34,16 % sur celles de Claude, contre 8,22 % pour Googlebot, en décembre 2024.

Le trafic envoyé par ces moteurs est un autre sujet, traité dans le guide de mesure sur GA4.

Un robot admis lit-il vraiment vos pages ?

Pas forcément ce que voit un visiteur. La mesure publique la plus solide repérée reste celle de Vercel, publiée le 17 décembre 2024 : aucun des grands robots IA mesurés n'exécutait le JavaScript (ceux d'OpenAI, ClaudeBot, Meta-ExternalAgent, Bytespider, PerplexityBot), alors que Gemini, adossé à l'infrastructure de Googlebot, et AppleBot le rendaient. Copilot était exclu de la mesure. Google écrit de son côté qu'il traite le JavaScript tant qu'il n'est pas bloqué.

Ces données ont près de deux ans, et aucune mesure récente de même ampleur n'a été repérée au 5 novembre 2026. Le test, lui, ne coûte rien : prenez le prix, la garantie ou l'argument clé d'une page, et cherchez-les dans le HTML renvoyé par le serveur, avant exécution. Une page dont la preuve n'existe qu'après rendu reste une porte ouverte sur une pièce vide, comme le montre l'audit d'une page d'accueil.

Faut-il publier un fichier llms.txt ?

Pas pour gagner en visibilité. Le guide de Google indique que Google Search ne s'en sert pas, et qu'en créer pour d'autres services n'aide ni ne pénalise dans Search. SE Ranking ne trouve aucune corrélation avec les citations sur près de 300 000 domaines (octobre 2026). Ahrefs a examiné 137 210 domaines : parmi les quelque 38 000 dotés d'un fichier valide, 97 % n'ont reçu aucune requête sur ce fichier en mai 2026, et 96 % des requêtes reçues venaient de robots.

La zone d'incertitude existe : ces études ne disent rien de l'usage qu'en feront d'autres services ou des agents. Le coût étant faible, inutile de supprimer un fichier en place. Il suffit de ne pas le compter comme un gain, conformément au classement de ces tactiques selon leur niveau de preuve.

Par où commencer ?

1. Répartissez la décision. Le marketing tranche recherche et lecture à la demande, le juridique l'entraînement, la technique exécute.
2. Faites l'inventaire des quatre couches. robots.txt de chaque sous-domaine, politique du CDN et du WAF, réglage Search generative AI, balises des gabarits.
3. Écrivez le fichier par famille. Partez du tableau de décision, et réglez Google-Extended à part.
4. Contrôlez une semaine après. Lisez les logs en bordure : présence, codes de réponse, adresses.
5. Datez la suite. Inscrivez le 1er mars 2027 si NOARCHIVE ou NOCACHE figurent chez vous, et relisez les documentations chaque trimestre.

La quatrième étape est celle qui se perd, parce qu'elle doit revenir à chaque changement de CDN ou de gabarit. Dans le module GEO de Nanga, l'Audit IA, en bêta, lui consacre la section « Accès crawlers IA » de son onglet Technique. La vérification lit votre robots.txt et rend un verdict par crawler IA : Autorisé, Bloqué, Aucune règle ou Inconnu. « Aucune règle » décrit précisément le robot qui lit votre site sans que personne l'ait décidé. L'audit de logs montre quels crawlers sont réellement venus, à quelle fréquence et sur quelles pages, et confronte leurs adresses aux plages publiées par les opérateurs ; le fichier est analysé dans votre navigateur et ne quitte pas votre poste.

Pour voir ce que votre robots.txt autorise, crawler par crawler : demander une démo.

Questions fréquentes

Sources :

• OpenAI, Overview of OpenAI Crawlers, consulté le 5 novembre 2026.
• Anthropic, Does Anthropic crawl data from the web, and how can site owners block the crawler?, consulté le 5 novembre 2026.
• Perplexity, Perplexity Crawlers, consulté le 5 novembre 2026.
• Google, Google's common crawlers, consulté le 5 novembre 2026.
• Google, AI Features and Your Website, consulté le 5 novembre 2026.
• Google, Search generative AI control, consulté le 5 novembre 2026.
• Google, Supporting a shared AI training control for websites, 30 octobre 2026.
• Google, Verify Requests from Google Crawlers and Fetchers, consulté le 5 novembre 2026.
• Google, Google's Guide to Optimizing for Generative AI Features on Google Search, consulté le 5 novembre 2026.
• Microsoft, Your content, your choice: clearer preferences for training and grounding, 30 octobre 2026.
• Cloudflare, AI Crawler and Agent access policies, mis à jour le 2 novembre 2026.
• IETF, RFC 9309: Robots Exclusion Protocol, septembre 2022.
• Hangcheng Zhao et Ron Berman, Strategic Response of News Publishers to Generative AI, préprint arXiv, version 4, 15 avril 2026.
• Vercel, The rise of the AI crawler, décembre 2024.
• SE Ranking, Does LLMs.txt impact your AI visibility and citations? No, according to research, octobre 2026.
• Ahrefs, We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read, juin 2026.