Sommaire · 11 chapitres
- 01Ce qu'il faut retenir et vérifier dans votre robots.txt
- 02Les résultats en bref
- 03Quel robot d'IA fait quoi ?
- 04Qui bloque quel robot d'IA ?
- 05Entraînement ou citation : les sites font la différence
- 06Google-Extended ne retire pas des aperçus IA
- 07Un média sur trois bloque GPTBot, contre 3 % des marques
- 08Les plus gros sites bloquent davantage, les sites francophones moins
- 09llms.txt et Content-Signal : des usages encore minoritaires
- 10Protocole, contrôles et limites
- 11Questions fréquentes
Le fichier robots.txt est devenu l'endroit où un site dit aux IA ce qu'elles ont le droit de faire. Encore faut-il savoir quel robot fait quoi : un blocage mal choisi peut retirer un site des réponses de ChatGPT sans l'avoir voulu, ou au contraire laisser croire qu'il est protégé. Cette étude décrit ce que font réellement les grands sites français, secteur par secteur, et ce qu'il faut en retenir pour votre propre fichier.
Ce qu'il faut retenir et vérifier dans votre robots.txt
L'étude ne dit pas quoi bloquer : cela dépend de votre modèle économique. Elle dit ce qu'il faut vérifier pour que votre fichier fasse ce que vous croyez. Les chiffres qui le justifient sont détaillés plus bas.
- 01
Distinguer entraînement et citation
Bloquer GPTBot ou ClaudeBot refuse l'entraînement. Pour rester citable dans ChatGPT ou Claude, ce sont OAI-SearchBot, ChatGPT-User, Claude-SearchBot et Claude-User qu'il faut laisser passer.
- 02
Ne pas compter sur Google-Extended pour les aperçus IA
Il ne concerne que l'entraînement de Gemini. Pour sortir des aperçus IA et d'AI Mode, Google propose depuis le 31 août 2026 un réglage dans Search Console ; page par page, ce sont nosnippet et noindex.
- 03
Regarder au-delà du fichier
Un CDN ou un pare-feu peut bloquer des robots que le fichier autorise. Pendant cette collecte, 267 sites ont refusé l'accès à leur propre robots.txt (erreur 403).
- 04
Relire le fichier après chaque changement d'outil
Shopify, Cloudflare ou un CMS peuvent écrire des règles à votre place. Le vérificateur de cette page lit votre robots.txt et indique, robot par robot, ce qui est autorisé.
Les résultats en bref
- 0120,1 % des sites
- bloquent au moins un robot d'IA, et environ 3 % les bloquent tous.
- 02Les robots d'entraînement sont bloqués trois fois plus
- que ceux de la recherche : GPTBot par 14,8 % des sites, OAI-SearchBot par 5,0 %.
- 03763 sites
- refusent l'entraînement d'OpenAI mais acceptent sa recherche ; 3 font l'inverse. Même schéma chez Anthropic (713 contre 4).
- 04Un média sur trois
- bloque GPTBot (34,6 %), contre 3,3 % des sites de marques.
- 05940 sites bloquent Google-Extended
- ce signal refuse l'entraînement de Gemini mais ne retire pas des aperçus IA de Google.
- 0610,9 % des sites publient un fichier llms.txt
- un tiers est généré automatiquement par Shopify.
Quel robot d'IA fait quoi ?
Les éditeurs d'IA n'envoient pas un robot, mais plusieurs, avec des rôles différents. Les confondre est l'erreur la plus fréquente. D'après la documentation de chaque éditeur, vérifiée le 31 octobre 2026, on distingue trois familles.
Les robots d'entraînement
GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini), Applebot-Extended, CCBot (Common Crawl), Bytespider (ByteDance), meta-externalagent ou Amazonbot collectent des pages pour entraîner les modèles. Les bloquer ne retire pas un site des réponses : cela refuse que ses contenus servent à l'apprentissage. Voir la documentation des robots d'OpenAI.
Les robots de recherche
OAI-SearchBot (OpenAI), Claude-SearchBot (Anthropic) ou PerplexityBot indexent les pages que l'IA pourra citer et lier dans ses réponses. Les bloquer, c'est renoncer à être cité par ce moteur.
Les visites à la demande
ChatGPT-User, Claude-User, Perplexity-User ou MistralAI-User lisent une page quand un utilisateur le demande, par exemple en collant un lien dans la conversation. Ce ne sont pas des robots d'exploration au sens classique.
Qui bloque quel robot d'IA ?
Sur les 7 695 sites dont le robots.txt a pu être lu ou est absent, les robots d'entraînement sont bloqués par 12 à 15 % des sites, les robots de recherche et de visite par 4 à 7 %. À titre de comparaison, Googlebot et bingbot ne sont bloqués que par 2 à 3 % des sites. La marge d'erreur est d'environ ±0,8 point.
Un robot est compté comme bloqué quand trois pages de contenu quelconques lui sont interdites, que la règle le nomme ou passe par la règle générale « User-agent: * ».
Figure 1· données de l'étude
Part des sites qui bloquent chaque robot
Entraînement des modèles
- CCBotCommon Crawl15,2 %
- BytespiderByteDance15,2 %
- GPTBotOpenAI14,8 %
- ClaudeBotAnthropic13,8 %
- AmazonbotAmazon13,3 %
- meta-externalagentMeta12,6 %
- Google-ExtendedGoogle (Gemini)12,2 %
- Applebot-ExtendedApple11,9 %
Recherche et citation
- PerplexityBotPerplexity6,5 %
- OAI-SearchBotOpenAI, recherche ChatGPT5,0 %
- Claude-SearchBotAnthropic4,6 %
Visite à la demande d'un utilisateur
- ChatGPT-UserOpenAI6,8 %
- Perplexity-UserPerplexity4,8 %
- Claude-UserAnthropic4,7 %
- MistralAI-UserMistral4,4 %
Témoins : moteurs de recherche classiques
- bingbotMicrosoft2,6 %
- GooglebotGoogle2,2 %
Entraînement ou citation : les sites font la différence
OpenAI et Anthropic séparent clairement leurs robots. Les sites aussi. Parmi les 1 144 sites qui bloquent au moins un des deux robots d'OpenAI, deux tiers (763) ne bloquent que GPTBot : ils refusent l'entraînement mais restent citables dans ChatGPT. Un tiers (378) bloquent les deux. Accepter l'entraînement en refusant la citation est presque inexistant : 3 sites.
Mon analyse : c'est un choix cohérent. Être cité dans une réponse peut apporter de la visibilité et parfois du trafic, alors que servir à l'entraînement n'apporte rien de mesurable à l'éditeur du site. L'étude constate le choix, pas ses motifs.
Figure 2· données de l'étude
Parmi les sites qui bloquent un robot d'OpenAI ou d'Anthropic
OpenAI : 1 144 sites
Anthropic : 1 065 sites
- bloque l'entraînement, accepte la recherche
- bloque les deux
- bloque la recherche seule (3 et 4 sites)
Outil · calcul dans votre navigateur
Vérificateur robots.txt pour les robots d'IA
Chemin lu : /
Visibilité dans les réponses
- OAI-SearchBotOpenAIAlimente ChatGPT search : le bloquer retire le site de ses réponses.Autorisé (aucune règle)
- Claude-SearchBotAnthropicIndexe pour la recherche de Claude : le bloquer réduit la visibilité dans ses réponses.Autorisé (aucune règle)
- PerplexityBotPerplexityAlimente les résultats de Perplexity : le bloquer empêche d'y être cité.Autorisé (aucune règle)
- GooglebotGoogleAlimente la recherche Google, donc les aperçus IA et le mode IA.Autorisé (aucune règle)
- BingbotMicrosoftAlimente l'index de Bing, utilisé par Copilot.Autorisé (aucune règle)
Lecture à la demande
- ChatGPT-UserOpenAILit une page à la demande d'un utilisateur ; OpenAI prévient que robots.txt peut ne pas s'appliquer.Autorisé (aucune règle)
- Claude-UserAnthropicLit une page quand un utilisateur de Claude la demande.Autorisé (aucune règle)
- Perplexity-UserPerplexityLit une page à la demande d'un utilisateur ; Perplexity indique ignorer en général robots.txt.Autorisé (aucune règle)
Entraînement des modèles
- GPTBotOpenAICollecte pour l'entraînement des modèles, sans effet sur ChatGPT search.Bloqué par Disallow: /
- ClaudeBotAnthropicCollecte pour l'entraînement des modèles.Autorisé (aucune règle)
- Google-ExtendedGoogleEntraînement et usage dans d'autres produits, sans effet sur la recherche.Autorisé (aucune règle)
- Applebot-ExtendedAppleEntraînement des modèles d'Apple.Autorisé (aucune règle)
- meta-externalagentMetaCollecte pour l'entraînement des modèles de Meta.Autorisé (aucune règle)
- CCBotCommon CrawlArchive ouverte, réutilisée pour entraîner de nombreux modèles.Autorisé (aucune règle)
Google-Extended ne retire pas des aperçus IA
940 sites (12,2 %) bloquent Google-Extended. Ce signal refuse que les contenus servent à entraîner Gemini.
D'après la documentation des robots de Google, il ne retire pas un site des aperçus IA ni d'AI Mode, qui s'appuient sur Googlebot et l'index de Google Search.
Pour en sortir, Google propose depuis le 31 août 2026 un réglage dans Search Console, le contrôle de l'IA générative dans la Recherche, sans effet sur le classement ni sur l'entraînement. Page par page, nosnippet et noindex restent possibles. Le détail des réglages est dans ma page sur les AI Overview.
917 de ces 940 sites bloquent aussi GPTBot : ils refusent l'entraînement de façon cohérente d'un éditeur à l'autre. Le robots.txt ne dit pas si certains pensaient aussi sortir des aperçus IA.
Figure 3· données de l'étude
Les 940 sites qui bloquent Google-Extended
- 940
- sites bloquent Google-Extended (12,2 %)
- 917
- d'entre eux bloquent aussi GPTBot
- Non
- ne retire pas des aperçus IA, d'après la documentation de Google
- Search Console
- le réglage qui retire un site des aperçus IA, depuis le 31/08/2026
Un média sur trois bloque GPTBot, contre 3 % des marques
Les éditeurs dont le contenu est le produit (presse, réseaux sociaux, divertissement) bloquent le plus. Mon interprétation : leur contenu est ce qu'ils vendent, et un modèle entraîné dessus peut répondre à leur place. Les marques et les e-commerçants, qui ont plutôt intérêt à être recommandés, bloquent peu et publient le plus de fichiers llms.txt. Chaque site a été classé par deux modèles de langage indépendants, départagés par un troisième ; le classement est juste pour 38 sites sur 40 vérifiés à la main.
| Secteur | Sites | GPTBot | OAI-SearchBot | Google-Extended | llms.txt |
|---|---|---|---|---|---|
| Médias et presse | 738 | 34,6 % | 14,4 % | 28,6 % | 6,2 % |
| Réseaux sociaux et communautés | 196 | 31,1 % | 9,7 % | 24,0 % | 7,1 % |
| Infrastructure technique (CDN, API, publicité, sans site public) | 62 | 30,6 % | 21,0 % | 30,6 % | 3,2 % |
| Divertissement, streaming et jeux vidéo | 707 | 24,0 % | 4,0 % | 21,8 % | 4,5 % |
| Jeux d'argent | 81 | 19,8 % | 9,9 % | 16,0 % | 4,9 % |
| Adulte | 991 | 15,7 % | 3,6 % | 12,3 % | 2,5 % |
| Associations, culture et loisirs | 380 | 14,7 % | 3,7 % | 10,5 % | 7,1 % |
| Petites annonces et services aux particuliers | 175 | 12,0 % | 2,3 % | 9,1 % | 16,0 % |
| Logiciels et services en ligne | 576 | 12,0 % | 6,9 % | 9,9 % | 16,0 % |
| Outils d'IA | 42 | 11,9 % | 7,1 % | 9,5 % | 31,0 % |
| Santé | 180 | 11,1 % | 5,6 % | 10,6 % | 13,3 % |
| Éducation et recherche | 337 | 9,2 % | 5,6 % | 8,6 % | 2,4 % |
| E-commerce et distribution | 1501 | 8,5 % | 1,3 % | 5,9 % | 24,3 % |
| Immobilier | 100 | 8,0 % | 2,0 % | 5,0 % | 11,0 % |
| Emploi et recrutement | 74 | 6,8 % | 4,1 % | 4,1 % | 14,9 % |
| Télécoms et énergie | 75 | 6,7 % | 1,3 % | 5,3 % | 8,0 % |
| Voyage, transport et tourisme | 371 | 5,9 % | 2,4 % | 5,1 % | 10,0 % |
| Administration et services publics | 225 | 5,3 % | 3,1 % | 4,4 % | 3,1 % |
| Banque, assurance et finance | 208 | 4,8 % | 2,9 % | 4,8 % | 12,0 % |
| Marques et industrie | 391 | 3,3 % | 0,5 % | 3,3 % | 27,1 % |
Secteurs de 40 sites ou plus, classés par part de sites qui bloquent GPTBot. 285 sites dont le secteur n'a pas pu être déterminé ne figurent pas dans le tableau.
Au Royaume-Uni et aux États-Unis, 79 % des quelque 100 plus grands sites d'information bloquent au moins un robot d'entraînement, et 71 % au moins un robot de recherche ou de visite, d'après une analyse de BuzzStream publiée par Press Gazette en janvier 2026.
En France, parmi les 156 médias du top 1 000 de cette étude, 57,1 % bloquent au moins un robot d'entraînement et 36,5 % au moins un robot de recherche ou de visite. Les listes de robots comparées sont proches, pas identiques, mais l'écart est net : les grands médias français bloquent moins, surtout les robots qui permettent d'être cité.
Figure 4· données de l'étude
Part des sites qui bloquent GPTBot, par secteur
- Médias et presse34,6 %
- Réseaux sociaux31,1 %
- Infrastructure technique30,6 %
- Divertissement24,0 %
- Jeux d'argent19,8 %
- Logiciels et services en ligne12,0 %
- Outils d'IA11,9 %
- Santé11,1 %
- E-commerce et distribution8,5 %
- Immobilier8,0 %
- Banque, assurance et finance4,8 %
- Marques et industrie3,3 %
Les plus gros sites bloquent davantage, les sites francophones moins
Plus un site est visité, plus il bloque les robots d'IA : 20,9 % des sites du top 1 000 bloquent GPTBot, contre 13,3 % de ceux classés entre 5 001 et 10 000. Les sites dont la page d'accueil est en français bloquent moins que ceux dont la page d'accueil est en anglais.
| Groupe de sites | Sites | GPTBot | OAI-SearchBot | Google-Extended | llms.txt |
|---|---|---|---|---|---|
| Top 1 000 | 795 | 20,9 % | 8,6 % | 17,6 % | 6,8 % |
| Rang 1 001 à 5 000 | 3 055 | 15,2 % | 4,7 % | 12,3 % | 10,8 % |
| Rang 5 001 à 10 000 | 3 845 | 13,3 % | 4,4 % | 11,1 % | 13,4 % |
| Page d'accueil en français | 4 524 | 11,7 % | 3,6 % | 9,4 % | 14,5 % |
| Page d'accueil en anglais | 1 834 | 19,1 % | 4,6 % | 15,5 % | 9,3 % |
llms.txt et Content-Signal : des usages encore minoritaires
9.1llms.txt : un tiers vient de Shopify
Le fichier llms.txt est un résumé du site destiné aux IA, proposé sur llmstxt.org.
10,9 % des sites en publient un valide. Mais 3,7 % sont générés automatiquement par Shopify pour les boutiques qu'il héberge. Les sites qui ont choisi d'en écrire un sont 7,2 %.
9.2Content-Signal : 6,3 % des sites
Cette ligne du robots.txt, proposée par Cloudflare, déclare l'usage autorisé des contenus (recherche, réponses des IA, entraînement). Tous les sites qui l'utilisent autorisent la recherche, et 94 % refusent l'entraînement. 5,8 % des sites ont un robots.txt géré par Cloudflare.
Figure 5· données de l'étude
Qui publie un fichier llms.txt ?
10,9 % des sites publient un llms.txt valide
Protocole, contrôles et limites
Le protocole et les indicateurs ont été fixés avant la collecte. Les écarts au protocole sont datés et documentés.
10.1Échantillon
Tous les domaines ayant au moins une page dans le top 10 000 du classement Chrome UX Report pour la France (septembre 2026), sans sélection : 8 239 domaines. Le classement est publié par paliers (top 1 000, 5 000, 10 000).
10.2Collecte
Le 31 octobre 2026 : lecture du robots.txt, du fichier llms.txt et de la page d'accueil de chaque domaine, puis deux nouvelles passes pour les sites restés illisibles, dont une depuis un serveur en Europe. 7 198 robots.txt lus, 497 sites sans robots.txt (tout est alors permis), 544 sites indéterminés (6,6 %) : refus d'accès, page HTML servie à la place du fichier, erreurs. Les indéterminés ne sont jamais comptés comme « autorisés » et sont exclus des pourcentages.
10.3Lecture des règles
Analyse conforme à la norme RFC 9309, qui décrit le protocole d'exclusion des robots. La page d'accueil n'est pas testée, car beaucoup de sites n'autorisent qu'elle.
10.4Limites
Les 544 sites indéterminés sont exclus des pourcentages. Ils ressemblent aux autres par la taille et par le secteur : s'ils bloquaient GPTBot au même taux que leur secteur, la part resterait à 14,7 % au lieu de 14,8 %. Dans le cas extrême où tous le bloqueraient, elle monterait à 20,5 %. Beaucoup filtrent déjà les robots par un pare-feu, ce que le robots.txt ne montre pas.
Un robots.txt est une déclaration, pas un blocage technique : les réglages d'un CDN restent invisibles. Quelques sites servent un fichier différent selon le pays. Le classement Chrome compte les visites et inclut des sites étrangers et des sites pour adultes. Les éditeurs d'IA modifient leurs robots : les rôles décrits datent du 31 octobre 2026.
10.5Télécharger les données
Les tableaux agrégés de l'étude sont en accès libre, au format CSV. Ils ne contiennent aucune donnée site par site ni aucun nom de marque. Réutilisation libre en citant la source (licence CC BY 4.0).
Citation demandée : « Source : Amaury Duval, étude sur les robots IA dans les robots.txt, amauryduval.com, octobre 2026 », avec un lien vers cette page.
- robots-par-robot.csv : part des sites qui bloquent chaque robot, avec intervalles de confiance.
- robots-par-secteur.csv : blocages et llms.txt par secteur.
- robots-par-popularite-et-langue.csv : blocages et llms.txt par popularité et par langue.
10.6Les deux autres études de la série
Cette étude fait partie d'une série de trois, collectées le 31 octobre 2026 : la stabilité des réponses de ChatGPT, Gemini, AI Mode et Perplexity et les aperçus IA de Google sur 4 377 requêtes françaises.
Questions fréquentes
Q01Faut-il bloquer GPTBot ?
Cela dépend de votre modèle économique. Bloquer GPTBot refuse que vos contenus entraînent les modèles d'OpenAI, sans vous retirer des réponses de ChatGPT tant qu'OAI-SearchBot et ChatGPT-User restent autorisés. C'est le choix de 763 des sites étudiés.
Q02Bloquer GPTBot empêche-t-il d'être cité par ChatGPT ?
Non. La citation dans ChatGPT dépend d'OAI-SearchBot et de ChatGPT-User, pas de GPTBot. En revanche, bloquer tous les robots avec une règle générale bloque aussi ceux de la recherche.
Q03Google-Extended retire-t-il un site des aperçus IA de Google ?
Non. Google-Extended refuse l'entraînement de Gemini. Les aperçus IA s'appuient sur Googlebot et l'index de recherche. Pour en sortir, il faut le réglage de Search Console « Contrôle de l'IA générative dans la Recherche », disponible depuis le 31 août 2026, ou les balises nosnippet et noindex page par page.
Q04Combien de sites français bloquent les robots d'IA ?
Parmi les 8 239 sites les plus visités depuis la France, 20,1 % bloquent au moins un robot d'IA au 31 octobre 2026, et environ 3 % les bloquent tous.