Sommaire · 9 chapitres
- 01Ce qu'il faut retenir et ajuster dans votre suivi IA
- 02Les résultats en bref
- 0330 réponses à la même question, côte à côte
- 04Une réponse d'IA est un tirage, pas un classement
- 05Combien d'essais pour mesurer la visibilité d'une marque ?
- 06Reformuler la question change plus la réponse que la reposer
- 07D'un moteur à l'autre, 3 marques sur 5 en commun
- 08Protocole, contrôles et limites
- 09Questions fréquentes
Beaucoup d'entreprises jugent leur présence dans ChatGPT sur une capture d'écran : « on est cité » ou « on n'y est pas ». Cette étude mesure ce que vaut ce constat. Elle s'adresse aux responsables marketing, aux équipes SEO et à tous ceux qui suivent leur référencement dans ChatGPT ou achètent un outil de suivi de la visibilité IA. Le protocole a été écrit avant la collecte, et chaque chiffre est donné avec sa marge d'erreur.
Ce qu'il faut retenir et ajuster dans votre suivi IA
Une capture d'écran d'une réponse de ChatGPT n'est pas une mesure, c'est un tirage. Voici, en cinq points, comment j'organise un suivi qui en tient compte. Les chiffres qui les justifient sont détaillés plus bas.
- 01
Répéter chaque question
Plusieurs dizaines d'essais par question pour une fréquence de citation fiable. En dessous de 30 essais, la marge d'erreur dépasse ±18 points et une variation d'un mois à l'autre ne prouve rien.
- 02
Varier les formulations
Une requête courte, une question, une question avec contexte. La formulation déplace plus la réponse que le hasard.
- 03
Couvrir plusieurs moteurs
ChatGPT, Gemini, AI Mode et Perplexity ne partagent qu'environ 3 marques sur 5. Suivez ceux que votre clientèle utilise.
- 04
Mesurer ce que l'internaute voit
Les réponses de l'API diffèrent de celles de l'interface. Demandez à votre outil de suivi d'où viennent ses réponses.
- 05
Suivre les sources, pas seulement les marques
Les sources bougent plus que les marques, et ce sont elles qu'on peut travailler : vos pages, les comparatifs et les médias qui vous citent.
Les résultats en bref
- 0190 agences différentes
- posée 30 fois, la question « meilleure agence SEO » fait citer 90 agences à ChatGPT, dont 68 une seule fois. Une réponse en cite 5 en moyenne.
- 0264 % de marques communes
- c'est ce que partagent, en moyenne, deux réponses de ChatGPT à la même question. Gemini et AI Mode font pareil (64 et 65 %).
- 0338 % de sources communes
- les sites cités en source changent encore plus que les marques d'une réponse à l'autre.
- 04Environ 80 essais
- sont nécessaires pour mesurer à ±10 points la fréquence de citation d'une marque.
- 05La formulation pèse plus que le hasard
- chez ChatGPT, 63 % de marques communes avec la même formulation, 48 % avec une autre formulation du même besoin.
- 063 marques sur 5
- c'est, en moyenne, ce que deux moteurs ont en commun dans leurs 5 marques les plus citées.
- 07L'API ne reproduit pas l'interface
- une réponse de l'API ChatGPT et une réponse de l'interface n'ont que 50 % de marques en commun.
30 réponses à la même question, côte à côte
Voici le relevé brut. Chaque ligne est une réponse, dans l'ordre où elle a été obtenue. Chaque colonne est une marque. Une case pleine signifie que la réponse cite la marque. Si le moteur répondait toujours la même chose, on verrait quelques colonnes pleines de haut en bas. Pour les agences SEO, on voit surtout un nuage de cases isolées.
Deux situations se dessinent. Sur un marché où quelques leaders font consensus, comme les CRM pour PME, la réponse est presque figée : les cinq mêmes éditeurs sont dans les 30 réponses de ChatGPT. Sur un marché éclaté en centaines d'acteurs locaux, comme les agences SEO, chaque réponse est un nouveau tirage. Une agence citée une fois peut ne plus jamais réapparaître.
Figure 1· données de l'étude
Le relevé : 30 réponses à la même question
- 90 agences différentes
- 5 par réponse en moyenne
- 68 citées une seule fois
- citée dans au moins 80 % des réponses
- entre 20 et 80 %
- moins de 20 %
Une colonne = une agence, de la plus citée à la moins citée. Noms masqués : l'étude décrit la dispersion des réponses, elle ne classe pas les agences.
Une réponse d'IA est un tirage, pas un classement
Pour comparer deux réponses, j'ai compté les marques qu'elles citent toutes les deux, divisées par les marques citées par l'une ou l'autre (indice de Jaccard). Deux réponses identiques donnent 100 %, deux réponses sans rien en commun 0 %. Le chiffre retenu est la médiane sur les 30 questions de chaque moteur.
ChatGPT, Gemini et AI Mode se comportent de la même façon : environ deux tiers de marques communes d'une réponse à l'autre, et à peine 40 % de sources communes. Sur 30 réponses, ChatGPT cite 10 marques différentes par question en médiane, deux fois plus qu'en une seule réponse. Gemini monte à 16, AI Mode à 14.
| Indicateur (médiane sur 30 questions) | ChatGPT | Gemini | AI Mode | Perplexity (API) |
|---|---|---|---|---|
| Marques communes à deux réponses | 64 % | 64 % | 65 % | 77 % |
| Sources communes à deux réponses | 38 % | 41 % | 46 % | 98 % |
| Marques par réponse | 5,0 | 6,0 | 5,7 | 5,8 |
| Marques différentes sur 30 réponses | 10 | 16 | 14 | 8 |
| Réponses qui commencent par la même marque | 63 % | 83 % | 80 % | 97 % |
| Essais pour mesurer une marque à ±10 points | 80 | 85 | 78 | 80 |
Perplexity a été interrogé par son API et non par son interface : il cite presque toujours les mêmes sources, ce qui le rend plus stable. Sa stabilité n'est pas directement comparable à celle des trois autres moteurs.
Figure 2· données de l'étude
Ce que deux réponses à la même question ont en commun
Marques communes à deux réponses
- ChatGPT64 %
- Gemini64 %
- AI Mode65 %
- PerplexityAPI77 %
Sources communes à deux réponses
- ChatGPT38 %
- Gemini41 %
- AI Mode46 %
- PerplexityAPI98 %
Combien d'essais pour mesurer la visibilité d'une marque ?
Si une marque apparaît dans une réponse sur deux, le nombre d'essais fixe la précision de la mesure. Avec 1 essai, on ne sait rien. Avec 10 essais, la marge d'erreur est de ±31 points : une marque mesurée à 50 % peut en réalité être citée 20 % ou 80 % du temps. Avec 30 essais, la marge tombe à ±18 points. Il faut environ 96 essais pour descendre à ±10 points.
Sur les vraies réponses, en rééchantillonnant les 30 essais de chaque question, il faut en médiane 78 à 85 essais selon le moteur pour atteindre ±10 points. C'est la règle à retenir : une visibilité IA se mesure en dizaines d'essais par question, pas en un seul. Le calculateur ci-dessous donne la fourchette de votre propre mesure.
Le constat rejoint celui de SparkToro et Gumshoe, publié en janvier 2026 aux États-Unis : 600 volontaires ont lancé 12 questions 2 961 fois dans ChatGPT, Claude et l'IA de Google, et une même liste de marques revenait moins d'une fois sur 100. L'étude recommande au moins 60 à 100 essais par question.
Cette étude ajoute une mesure en France, sur quatre moteurs, avec une marge d'erreur par indicateur : environ 80 essais pour ±10 points, dans la même fourchette.
Figure 3· données de l'étude
Marge d'erreur selon le nombre d'essais
- marque citée une fois sur deux
- marque citée une fois sur cinq
- seuil de ±10 points
Outil · calcul dans votre navigateur
Taux de présence dans les réponses d'IA : fiable ou pas ?
Un relevé quotidien d'un tirage donne 30 réponses par mois.
Taux de présence
40 %
- Fourchette basse
- 25 %
- Fourchette haute
- 58 %
- Pour ± 10 points
- 93 réponses
- au taux mesuré
Comparer avec le mois suivant
- Mois 1
- 40 %
- 25 % à 58 %
- Mois 2
- 53 %
- 36 % à 70 %
- Écart affiché
- +13 pt
- p = 0,3
Reformuler la question change plus la réponse que la reposer
Chaque besoin a été formulé de trois façons : une requête courte (« meilleur CRM pour PME »), une question (« Quel CRM choisir pour une PME française ? ») et une question avec contexte (« Notre PME de 20 commerciaux gère ses clients sur Excel. Quel CRM nous conseilles-tu ? »).
Sur les quatre moteurs, deux formulations du même besoin donnent des réponses plus éloignées que deux essais de la même formulation. Chez AI Mode, on passe de 65 % de marques communes à 43 %. Un internaute ne tape jamais exactement votre requête de suivi : mesurer une seule formulation donne une image partielle.
Figure 4· données de l'étude
Même formulation ou formulation différente
- même formulation, posée à nouveau
- autre formulation du même besoin
- ChatGPT63 %48 %
- Gemini60 %44 %
- AI Mode65 %43 %
- Perplexity77 %38 %
D'un moteur à l'autre, 3 marques sur 5 en commun
Pour chaque besoin, j'ai comparé les 5 marques les plus citées par chaque moteur. Les paires de moteurs partagent de 41,5 % à 58,8 % de leur top 5, soit environ 3 marques sur 5. Les CRM font l'unanimité : quatre éditeurs sont dans le top 5 des quatre moteurs. Les agences SEO, les forfaits mobiles et les fournisseurs d'électricité beaucoup moins.
Être bien placé dans ChatGPT ne dit donc pas grand-chose de Gemini ou d'AI Mode. Chaque moteur a ses propres sources et sa propre façon de les résumer.
7.1L'API ChatGPT ne montre pas ce que voit l'internaute
Beaucoup d'outils de suivi interrogent les modèles par leur API, moins chère et plus simple à automatiser. J'ai posé les mêmes questions 10 fois à l'API de ChatGPT, recherche web activée. Deux réponses de l'interface ont 69 % de marques en commun, deux réponses de l'API 56 %, et une réponse de l'API comparée à une réponse de l'interface, 50 %. L'API est un autre moteur, pas une copie de l'interface.
Figure 5· données de l'étude
Top 5 des marques en commun, par paire de moteurs
- ChatGPT et Perplexity58,8 %
- ChatGPT et AI Mode56,1 %
- Gemini et AI Mode52,7 %
- ChatGPT et Gemini51,2 %
- AI Mode et Perplexity50,5 %
- Gemini et Perplexity41,5 %
Figure 6· données de l'étude
API ChatGPT contre interface
- Interface contre interface69 %
- API contre API56 %
- API contre interface50 %
Protocole, contrôles et limites
Le protocole et les indicateurs ont été fixés avant la collecte. Les écarts au protocole sont datés et documentés.
8.1Questions et moteurs
10 besoins d'achat, 3 formulations chacun, soit 30 questions en français : agence SEO, aspirateur robot, banque en ligne, CRM pour PME, fournisseur d'électricité, logiciel de facturation pour auto-entrepreneur, forfait mobile, matelas, mutuelle pour indépendant, voiture électrique familiale. ChatGPT, Gemini et Google AI Mode tels qu'ils s'affichent à un internaute non connecté en France, relevés automatiquement ; Perplexity par son API (modèle sonar-pro). Témoin : l'API ChatGPT avec recherche web, 10 essais sur 10 questions. 30 passages consécutifs le 31 octobre 2026, de 14 h 06 à 16 h 12 (heure de Paris). 3 693 réponses exploitables sur 3 700.
8.2Ce qui compte comme une marque
Une marque est comptée quand elle est nommée dans le texte que l'internaute lit, y compris comme maison mère ou réseau (une banque présentée comme filiale d'un groupe compte pour ce groupe). Ne comptent pas les liens et pastilles de sources, les légendes d'images, les comparateurs, les médias et les distributeurs. Les noms de modèles sont ramenés à la marque qui les fabrique. Un modèle de langage a proposé les marques de chaque réponse, le lexique obtenu (451 marques) a été relu à la main, puis la détection a été faite par programme, de façon identique pour tous les moteurs.
8.3Contrôles
Détection vérifiée à la main sur des échantillons tirés au hasard : précision estimée à 99,9 % (au moins 99,6 %). AI Mode a servi exactement le même texte pour 4 requêtes courtes : sans ces 4 questions, ses chiffres ne changent pas. L'interface Gemini a servi le même modèle pour 887 réponses sur 897 : sur ce seul modèle, les chiffres sont identiques.
8.4Limites
Internaute non connecté, sans historique ni mémoire : un utilisateur connecté peut obtenir d'autres réponses. Une seule journée, sur deux heures, alors que les modèles évoluent. 10 besoins d'achat en français, sans questions d'information. La présence d'une marque est mesurée, pas son rang dans la réponse. Les marques citées décrivent ce que répondent les IA, pas un classement de qualité.
8.5Télécharger les données
Les tableaux agrégés de l'étude sont en accès libre, au format CSV. Ils ne contiennent aucune donnée site par site ni aucun nom de marque. Réutilisation libre en citant la source (licence CC BY 4.0).
Citation demandée : « Source : Amaury Duval, étude sur la stabilité des réponses des IA, amauryduval.com, octobre 2026 », avec un lien vers cette page.
- stabilite-par-moteur.csv : indicateurs par moteur, avec intervalles de confiance.
- stabilite-par-question.csv : indicateurs question par question, avec le texte exact des 30 questions.
- stabilite-formulation.csv : même formulation ou formulation différente.
- stabilite-accord-moteurs.csv : marques communes entre deux moteurs.
8.6Les deux autres études de la série
Cette étude fait partie d'une série de trois, collectées le 31 octobre 2026 : les robots d'IA dans les robots.txt des sites les plus visités en France et les aperçus IA de Google sur 4 377 requêtes françaises.
Questions fréquentes
Q01ChatGPT donne-t-il toujours la même réponse à la même question ?
Non. Dans cette étude, deux réponses de ChatGPT à la même question n'ont que 64 % de marques en commun en médiane, et 38 % de sources en commun. Sur 30 essais de la question « meilleure agence SEO », ChatGPT a cité 90 agences différentes.
Q03Les outils de suivi de visibilité IA sont-ils fiables ?
Cela dépend de leur méthode. Vérifiez le nombre d'essais par question, le nombre de formulations, les moteurs couverts et l'origine des réponses : une réponse obtenue par API diffère d'une réponse de l'interface (50 % de marques communes dans cette étude).
Q04Pourquoi ChatGPT ne cite-t-il pas toujours ma marque ?
Parce que chaque réponse est générée à nouveau, à partir de sources qui changent d'un essai à l'autre. Sur un marché éclaté, la plupart des marques ne sont citées qu'une partie du temps. L'enjeu est d'augmenter cette fréquence, en travaillant les sources que les IA consultent.
Q02
Comment mesurer la visibilité de sa marque dans ChatGPT ?
En posant les questions de votre marché plusieurs dizaines de fois, sous plusieurs formulations, et en comptant la part des réponses qui vous citent. Il faut environ 80 essais par question pour une fréquence précise à ±10 points. L'autodiagnostic GEO donne un premier état des lieux.