Un score de visibilité IA devient utilisable quand sa marge est plus petite que le mouvement qui vous ferait changer de décision. Ce seuil se calcule. Pour une marque présente dans 20 % des réponses, 100 prompts suivis sur un moteur donnent ±7,8 points à 95 %, puis ±11 à ±13 points si ces prompts, répartis sur 5 topics, se ressemblent modérément à l'intérieur de chacun (hypothèse détaillée plus bas). Une hausse de 3 points en une semaine ne prouve donc rien.
Trois décisions en découlent : dimensionner le panel sur la plus petite décision à prendre, ajouter des topics plutôt que des prompts dans les mêmes topics, comparer 4 semaines à 4 semaines. Le prompt isolé sert au diagnostic, pas à la mesure.
Les tableaux ci-dessous sont mes propres calculs, à partir de formules publiques et d'hypothèses affichées. Aucune des études que j'ai lues sur la stabilité des réponses ne donne, au 2 novembre 2026, la donnée qui manque le plus à un CMO : à quel point les prompts d'un même panel bougent ensemble.
Pourquoi une même question donne-t-elle des réponses différentes ?
Parce qu'un moteur IA produit à chaque demande une réponse parmi plusieurs possibles. Pour une marque, le bon objet à estimer est donc une probabilité d'être nommée, et chaque capture en est un tirage.
Tous les niveaux d'une réponse ne varient pas autant. Un audit de chercheurs de Maastricht, d'Utrecht et de Zurich (Uberti-Bona Marin et al., septembre 2026) a répété trois fois 117 requêtes sur des produits. Le recoupement moyen des pages citées entre deux répétitions est de 18,1 % sur ChatGPT, 28,4 % sur Gemini et 41,4 % sur AI Overviews. La présence d'au moins une marque ou d'un produit dans la réponse, elle, ne change que sur 11 à 13 % des requêtes, alors que les produits recommandés se recoupent peu d'une répétition à l'autre (0,178 sur ChatGPT, sur une échelle de 0 à 1).
SparkToro et Gumshoe, qui vend du suivi de visibilité, arrivent à la même hiérarchie avec 2 961 réponses obtenues par 600 volontaires en novembre et décembre 2025, sans contrôle des conditions : moins d'une chance sur 100 de revoir la même liste de marques, environ une sur 1 000 de la revoir dans le même ordre. Pourtant City of Hope apparaît dans 69 réponses ChatGPT sur 71, en tête de liste dans seulement 25.
Une taille d'échantillon n'a donc de sens que pour un indicateur précis. Cet article traite le plus courant : la part des réponses qui nomment votre marque.
Quelle marge à 20, 50, 100, 200 et 500 prompts ?
À 100 prompts, ±7,8 points pour une marque à 20 % et ±9,6 points pour une marque à 50 %. Le tableau donne l'intervalle à 95 % d'un taux observé, avec une capture par prompt sur un moteur. Il utilise la méthode de Wilson, recommandée dans le manuel de statistique du NIST : sa borne basse ne peut pas être négative, contrairement à celle de la formule scolaire.
| Prompts | Taux observé 5 % | Taux observé 20 % | Taux observé 50 % |
|---|---|---|---|
| 20 | 0,9 à 23,6 % | 8,1 à 41,6 % (±16,8) | 29,9 à 70,1 % (±20,1) |
| 50 | 1,6 à 14,9 % | 11,2 à 33,0 % (±10,9) | 36,6 à 63,4 % (±13,4) |
| 100 | 2,2 à 11,2 % | 13,3 à 28,9 % (±7,8) | 40,4 à 59,6 % (±9,6) |
| 200 | 2,7 à 9,0 % | 15,0 à 26,1 % (±5,5) | 43,1 à 56,9 % (±6,9) |
| 500 | 3,4 à 7,3 % | 16,7 à 23,7 % (±3,5) | 45,6 à 54,4 % (±4,4) |
Calcul de l'auteur, intervalle de Wilson à 95 %, captures supposées indépendantes. C'est le cas le plus favorable pour estimer un niveau.
Pour diviser la marge par deux, il faut quatre fois plus de prompts. Et le nombre qui compte est celui de la case que vous lisez, jamais le total du contrat :
- Le topic. 100 prompts répartis sur 5 topics font 20 prompts par topic, soit ±16,8 points sur chacun à 20 %.
- Le moteur. 100 prompts suivis sur quatre moteurs donnent 400 captures, mais chaque lecture par moteur repose sur 100.
- Le dénominateur. Certaines réponses sortent du calcul. SE Ranking relève un encart AI Overview sur 52,63 % de 100 000 mots-clés français (7 et 8 août 2026) : sur un panel comparable, 100 prompts laisseraient environ 53 réponses mesurables sur ce moteur. Dans l'étude de Saint-Gall citée plus bas, 57,8 % des runs ChatGPT n'ont aucune citation : un taux calculé sur les seules réponses sourcées perd autant de base.
Pourquoi les études parlent-elles de 7, 10 ou 100 runs ?
Elles ne mesurent pas la même chose, et aucune ne donne la taille à retenir pour un panel entier.
| Source | Chiffre | Question traitée |
|---|---|---|
| Université de Saint-Gall, avril 2026 | Au moins 7 runs par prompt et par jour, fenêtre de 2 à 4 semaines | Le taux d'une marque sur un prompt et un moteur |
| SparkToro et Gumshoe, janvier 2026 | 60 à 100 runs | Ce qu'une IA recommande sur une question |
| Żatuchin, septembre 2026 | En médiane, 10 appels retrouvent 92,6 à 95,2 % des marques vues en 15 appels (89,5 à 94,7 % après revue des annotations) | La complétude d'une liste de marques, pas leur fréquence |
| Sielinski, juillet 2026 | Aucun budget de collecte fixe n'est justifiable d'un contexte à l'autre | Le classement des domaines cités, par plateforme et par topic |
Un auteur de l'étude de Saint-Gall est également affilié à Aurora Intelligence.
Le chiffre de Saint-Gall demande une lecture attentive. Ses auteurs annoncent ±15,8 points à 7 runs, en moyenne sur toutes les marques détectées au moins une fois, y compris les rares, et par sous-échantillonnage de 10 runs, ce qui resserre mécaniquement l'écart, comme ils le signalent. Pour une marque à 50 %, mon calcul donne ±29,8 points à 7 runs, ±12,3 à 60 runs, ±9,6 à 100 runs. Mesurer un prompt seul coûte donc très cher, quelle que soit l'étude retenue.
Pour estimer un niveau de panel, l'arithmétique penche dans l'autre sens. Prenons 700 captures par semaine pour une marque à 20 %, en supposant que la moitié de la variance vient des différences entre prompts (hypothèse illustrative). 700 prompts captés une fois donnent ±3,0 points, 100 prompts captés 7 fois ±5,9 points, 10 prompts captés 70 fois ±17,7 points. Si les prompts ne pesaient que 10 % de la variance, l'écart entre les deux premiers scénarios se réduirait à ±3,0 contre ±3,7. À budget égal, des prompts distincts battent les répétitions, à condition qu'ils soient vraiment distincts.
Pourquoi 100 prompts ne valent-ils pas 100 observations ?
Des prompts d'un même topic ont de bonnes raisons de bouger ensemble : ils déclenchent des recherches proches et s'appuient sur des sources communes. Aucun résultat publié ne le chiffre, cela reste mon raisonnement. Si une page gagne ou perd sa place, plusieurs prompts basculent d'un coup.
Un effet de plan (design effect) est le facteur par lequel la ressemblance à l'intérieur des groupes réduit la valeur d'un échantillon. La formule date de Leslie Kish (1965) : 1 + (m − 1) × ρ, où m est le nombre de prompts par groupe et ρ la corrélation entre prompts d'un même groupe. Votre échantillon effectif est le nombre de prompts divisé par cet effet.
| Panel, marque à 20 % | ρ = 0 | ρ = 0,05 | ρ = 0,1 | ρ = 0,2 |
|---|---|---|---|---|
| 50 prompts, 5 topics | ±10,9 | ±13,0 | ±14,8 | ±17,6 |
| 100 prompts, 5 topics | ±7,8 | ±10,8 | ±13,0 | ±16,5 |
| 100 prompts, 10 topics | ±7,8 | ±9,3 | ±10,6 | ±12,8 |
| 200 prompts, 10 topics | ±5,5 | ±7,7 | ±9,3 | ±11,9 |
| 500 prompts, 10 topics | ±3,5 | ±6,5 | ±8,4 | ±11,3 |
Calcul de l'auteur, Wilson à 95 % sur l'échantillon effectif. Les valeurs de ρ sont des hypothèses : je n'ai trouvé aucune mesure publiée pour la visibilité IA au 2 novembre 2026.
Regardez la dernière colonne. Passer de 100 à 500 prompts dans les mêmes 10 topics fait gagner 1,5 point. Passer de 5 à 10 topics à 100 prompts constants en fait gagner 3,7. Avec 10 topics et ρ = 0,2, la marge ne descend jamais sous ±10,9 points, quel que soit le nombre de prompts. Vos prochains prompts doivent donc ouvrir de nouveaux sujets, pas reformuler les anciens.
Vous pouvez estimer cette marge sur vos données sans connaître ρ. Calculez le taux de chaque topic, prenez leur écart-type, divisez par la racine du nombre de topics, puis multipliez par le coefficient de Student. Exemple avec 5 topics de même taille à 12, 28, 15, 35 et 20 % (chiffres fictifs) : moyenne 22 %, écart-type 9,5, erreur type 4,2, coefficient 2,78, soit ±11,7 points. La formule simple annonçait ±8,1.
Pourquoi les petites marques sont-elles les plus difficiles à mesurer ?
À faible taux, une marge qui paraît petite en points reste énorme en proportion. À 100 prompts, une marque observée à 2 % a été nommée deux fois, et son vrai taux se situe entre 0,6 % et 7,0 %. L'absence totale ne prouve guère plus : selon la règle de trois, zéro mention sur 50 prompts laisse un taux plausible jusqu'à 6 % environ, zéro sur 100 jusqu'à 3 %.
Détecter un mouvement demande alors un volume que peu de panels atteignent :
| Mouvement à détecter | Captures par période |
|---|---|
| 20 % à 30 % | 294 |
| 20 % à 25 % | 1 094 |
| 5 % à 10 % | 435 |
| 5 % à 8 % | 1 059 |
| 2 % à 4 % | 1 141 |
| 2 % à 3 % | 3 826 |
Calcul de l'auteur : test bilatéral à 95 %, puissance de 80 %, captures supposées indépendantes.
Pour voir 2 % devenir 3 %, 100 prompts hebdomadaires exigeraient environ 38 semaines par période. Un autre piège pèse aussi plus lourd : avec 1 % de fausses mentions (taux illustratif), une marque à 40 % se lit à 40,6 %, une marque à 2 % se lit à 3,0 %, soit une hausse apparente de 49 %.
Trois parades, chacune avec son coût. Resserrer le panel sur les prompts où la marque a une chance d'apparaître, sans y ajouter des prompts qui citent déjà votre marque et gonflent le score : le chiffre gagne en sensibilité et perd en portée. Lire des comptes : « 3 prompts sur 100, puis 6 » reste honnête là où « +100 % » trompe. Allonger la fenêtre à 8 ou 12 semaines, et voir plus tard.
Comment lire un score semaine après semaine ?
En comparant des fenêtres de plusieurs semaines sur un panel inchangé. Un panel figé a un avantage décisif : chaque prompt sert de témoin à lui-même, le choix des prompts s'annule dans la différence, et il ne reste que le bruit des captures. Voici le plus petit écart distinct du bruit, à 95 %, pour une marque à 20 % :
| Prompts | Semaine contre semaine (1 capture) | 4 semaines contre 4 (4 captures) | 7 jours contre 7, en quotidien (7 captures) |
|---|---|---|---|
| 20 | 24,8 / 17,5 | 12,4 / 8,8 | 9,4 / 6,6 |
| 50 | 15,7 / 11,1 | 7,8 / 5,5 | 5,9 / 4,2 |
| 100 | 11,1 / 7,8 | 5,5 / 3,9 | 4,2 / 3,0 |
| 200 | 7,8 / 5,5 | 3,9 / 2,8 | 3,0 / 2,1 |
| 500 | 5,0 / 3,5 | 2,5 / 1,8 | 1,9 / 1,3 |
Calcul de l'auteur, en points. Premier chiffre : prompts semblables. Second : prompts contrastés, la moitié de la variance venant des différences entre prompts (hypothèse illustrative, vérifiée par simulation à 100 prompts). Captures supposées indépendantes, sans choc commun : ce sont des planchers.
Quatre semaines divisent le plancher par deux. L'étude de Saint-Gall va dans le même sens, en moyenne sur des séries d'une marque, un prompt et un moteur à raison d'une capture par jour : ±26,4 points sur 7 jours, ±15,7 sur 14, ±6,5 sur 28. À mon sens, ce dernier chiffre est optimiste : il repose sur la dispersion de fenêtres qui se chevauchent dans des séries de 40 à 46 jours.
Ces planchers ignorent ce qui touche tous les prompts à la fois. Semrush a vu la part des réponses ChatGPT citant Reddit passer de près de 60 % à environ 10 % entre début août et mi-septembre 2025 (plus de 230 000 prompts, 13 semaines). Aucune action de marque n'explique un tel mouvement, et aucun volume de prompts ne protège de ce type de rupture.
Le test qui englobe tout est le test à vide. Prenez 8 à 12 semaines sans action marquante, calculez l'écart de chaque semaine avec la précédente, puis multipliez l'écart-type de ces écarts par 1,96. Vous obtenez une estimation de votre vrai plancher semaine contre semaine, ressemblance comprise, ainsi que les chocs survenus sur la période. Pour attribuer ensuite un mouvement à votre travail, il faut un groupe témoin : voir le protocole d'incrémentalité.
Le suivi quotidien vaut-il le coup ?
Oui quand le calendrier compte ou que le panel ne peut pas s'élargir, non quand il sert à lire un chiffre par jour. Ce qui fixe la précision est le nombre de captures et la diversité des prompts : le rythme n'est qu'un moyen d'obtenir plus de captures.
Le quotidien multiplie les captures par 7, et ces captures semblent apporter une vraie information. À Saint-Gall, deux runs du même jour ne se ressemblent pas plus que deux runs de jours consécutifs (sources : 0,32 à 0,43 contre 0,34 à 0,42 ; marques : 0,33 à 0,48 contre 0,45 à 0,59). Une seule étude, en allemand de Suisse, dont les deux séries de mesures ne portent pas exactement sur le même périmètre.
Il se justifie dans quatre cas :
- Un événement daté. Lancement, soldes, crise de réputation : attendre quatre semaines revient à lire trop tard. À 100 prompts, le plancher hebdomadaire passe de 11,1 à 4,2 points sur des prompts semblables.
- Un panel qui ne peut pas grandir. Un marché étroit n'offre pas 500 questions réellement distinctes.
- Une marque à faible taux. Elle a besoin de plus de 1 000 captures par période.
- Quelques prompts critiques. Sur 28 jours, un prompt à 50 % atteint ±17,4 points : une tendance forte devient visible.
Il devient du bruit dans deux autres :
- La lecture au jour le jour. Un score quotidien a la même marge qu'un score hebdomadaire à une capture. Avec un seuil à 95 %, comptez environ 18 fausses alertes par an sur une courbe quotidienne, contre environ 3 sur une courbe hebdomadaire.
- Des décisions mensuelles. Si le budget se décide chaque mois et que 200 prompts donnent déjà 3,9 points en fenêtre de 4 semaines, le gain ne change aucune décision.
Qu'est-ce que ces marges ne disent pas ?
Elles couvrent le hasard, pas le biais. Au-delà de ρ, trois inconnues restent entières au 2 novembre 2026 :
- Ce que les gens demandent vraiment. Un intervalle suppose un tirage au hasard parmi les vraies questions. À ma connaissance, aucun moteur ne publie leurs volumes question par question, et 142 prompts écrits par des humains pour un même besoin affichent une similarité sémantique moyenne de 0,081 (SparkToro). Votre marge porte sur votre panel, pas sur votre marché.
- La personnalisation. Je n'ai trouvé aucune étude évaluée par les pairs sur l'effet de la mémoire ou de l'historique sur les recommandations de marques.
- Le français. L'étude de Saint-Gall porte sur l'allemand de Suisse et ses auteurs préviennent que ses résultats peuvent ne pas s'étendre à d'autres langues. La transposer au français reste une hypothèse.
Par où commencer ?
- Écrivez le seuil de décision. À partir de quel mouvement changez-vous un budget ou un plan éditorial ?
- Dimensionnez sur la plus petite case lue. Mes repères, sans valeur de norme : une centaine de prompts sur au moins 10 topics pour une marque installée, 30 à 50 prompts par topic lu seul (±13,9 à ±10,9 points à 20 %), 200 à 500 prompts ou un panel resserré sous 5 %.
- Figez le panel le temps d'une comparaison. Un prompt ajouté en cours de période change le dénominateur et casse le témoin.
- Comparez des fenêtres de 4 semaines. Puis mesurez votre plancher avec le test à vide.
- Notez chaque rupture. Un mouvement simultané sur tous les topics d'un moteur désigne d'abord le modèle plutôt que la marque.
Le module GEO de Nanga suit vos prompts run après run, moteur par moteur, chaque semaine par défaut et chaque jour en option. Les topics et les tags permettent de lire un panel sur plusieurs semaines, exactement là où une mesure devient solide.
La comparaison de périodes, les filtres par topic et par moteur et l'export des réponses permettent la lecture en fenêtres et le test à vide.
L'équipe Nanga a aussi observé qu'une version de modèle déplace une série sans que la marque bouge. En octobre 2026, lors d'un changement de version sur un moteur, un test sur 10 prompts a fait passer le nombre moyen de citations par réponse de 3,9 à 6,3. Aucune marge statistique ne couvre ce type de rupture : il faut le dater et comparer de part et d'autre.
Pour lire votre visibilité IA sur vos propres prompts, fenêtre contre fenêtre : demander une démo.
Questions fréquentes
Qu'est-ce que la marge d'erreur d'un score de visibilité IA ?
C'est la plage dans laquelle le vrai taux se situe probablement, compte tenu du hasard des réponses. Selon un calcul de Wilson à 95 %, une marque nommée dans 20 % de 100 réponses se situe entre 13,3 % et 28,9 %, si les réponses sont indépendantes.
Combien de prompts faut-il pour suivre sa visibilité IA ?
Cela dépend du mouvement à détecter. D'après un calcul de Wilson à 95 %, 100 prompts donnent ±7,8 points pour une marque à 20 % et 500 prompts ±3,5, avant de compter la ressemblance entre prompts d'un même topic. Comparez d'abord votre seuil de décision à ces marges.
Combien de runs faut-il par prompt ?
Pour un prompt lu seul, des dizaines. L'université de Saint-Gall recommande au moins 7 runs par jour avec une fenêtre de 2 à 4 semaines, SparkToro 60 à 100 runs. Pour un score de panel, à budget égal, des prompts distincts apportent davantage que des répétitions.
Un suivi hebdomadaire est-il trop peu fréquent ?
Pas en soi. La précision dépend du nombre total de captures et de la diversité des prompts, pas du calendrier. Un suivi hebdomadaire se lit en fenêtres de quatre semaines. Le quotidien se justifie pour un événement daté, un panel qui ne peut pas grandir ou une marque à faible taux.
Sources :
- Uberti-Bona Marin et al., Maastricht University, Utrecht University et University of Zurich, "If I Had to Buy Just ONE: Galaxy S26 Ultra": Auditing AI-Generated Product Recommendations, septembre 2026.
- Schulte, Bleeker et Kaufmann, université de Saint-Gall, Don't Measure Once: Measuring Visibility in AI Search (GEO), avril 2026.
- SparkToro, NEW Research: AIs are highly inconsistent when recommending brands or products; marketers should take care when tracking AI visibility, janvier 2026.
- Żatuchin, Measuring Brand and Source Discovery under Repeated LLM Queries: A Finite-Sample Audit, septembre 2026.
- Sielinski, From Stochastic to Stable: Rank Stability and Structural Sufficiency in AI Visibility Measurement, juillet 2026, révisé en août.
- NIST/SEMATECH, e-Handbook of Statistical Methods, section 7.2.4.1, Confidence intervals, consulté en novembre 2026.
- Wikipédia, d'après Kish, Survey Sampling (1965), Design effect, consulté en novembre 2026.
- Wikipédia, Rule of three (statistics), consulté en novembre 2026.
- SE Ranking, AI Overviews just launched in France, and they already appear on more than 52% of searches, août 2026.
- Semrush, The Most-Cited Domains in AI: A 3-Month Study, novembre 2025.