一句话定义
提及率＝在固定的一组问题上，AI 回答里出现该品牌的样本数 ÷ 总样本数。它是一个二项比例，必然带抽样误差；任何两次读数之差，必须先通过显著性检验，才能称为「变化」。
完整写法应该长这样：提及率 47.5%（n=80，2026-10-24，DeepSeek + 智谱 GLM，中文 10 问 + 越南语 10 问各采样 2 次）。少了括号里的条件，这个数字就没有意义。
为什么单轮读数不能直接比
抛 80 次硬币，正面 38 次。你不会因此认为这枚硬币的正面概率就是 47.5%。你会知道它可能是 45%，也可能是 50%。AI 提及率是同一个道理，只是很多人忘了这件事。
按 Wilson 区间算，我们第一轮读数 38/80＝47.5%，95% 置信区间是 36.9%–58.3%，宽度 21.4 个点。也就是说：两个「什么都没变」的读数，相差十几个点是完全正常的。
| 样本量 n | p≈47% 时 95% 区间半宽 | 直观含义 |
|---|---|---|
| 80（我们当前每轮） | ±10.7 点 | 差 10 个点以内，肉眼不可信 |
| 400 | ±4.8 点 | 差 5 个点开始有意义 |
| 1,600 | ±2.4 点 | 可讨论 2–3 个点的变化 |
数字由二项分布标准差 √(p(1−p)/n) 乘 1.96 得到；样本量翻 4 倍，区间只窄一半 —— 精度是有价格的。
我们自己的十轮实测
2026-10-24 至 10-25，同一个品牌（Vinamilk）、同一组 20 个问题、同一引擎版本，连续跑了 10 轮，每轮 80 个样本，共 800 个样本。中间没有改任何站点设置、没有做任何优化。
| 轮次 | 提及率 | DeepSeek | 智谱 GLM | 中文 | 越南语 |
|---|---|---|---|---|---|
| 1 | 47.5% | 52.5% | 42.5% | 45.0% | 50.0% |
| 2 | 41.2% | 45.0% | 37.5% | 37.5% | 45.0% |
| 3 | 53.8% | 57.5% | 50.0% | 52.5% | 55.0% |
| 4 | 47.5% | 47.5% | 47.5% | 45.0% | 50.0% |
| 5 | 48.8% | 45.0% | 52.5% | 50.0% | 47.5% |
| 6 | 47.5% | 52.5% | 42.5% | 47.5% | 47.5% |
| 7 | 51.2% | 47.5% | 55.0% | 42.5% | 60.0% |
| 8 | 45.0% | 52.5% | 37.5% | 42.5% | 47.5% |
| 9 | 46.2% | 47.5% | 45.0% | 42.5% | 50.0% |
| 10 | 45.0% | 50.0% | 40.0% | 37.5% | 52.5% |
十轮均值 47.4%，最低 41.2%、最高 53.8%，全距 12.6 个点。这 12.6 个点的波动里，没有任何一次是「模型变了」或「优化生效了」—— 我们什么都没改。
结论一：12.6 个点的全距不是漂移，是样本量不够
有人会直觉认为「AI 模型不稳定，所以读数会飘」。我们的数据反驳了这个直觉：
- 实测标准差 3.48 个点；同样条件下二项理论标准差 5.58 个点。
- 比值 0.62 倍 —— 实测波动比理论值更小，不是更大。
- 过离散卡方检验 χ²＝3.45，df＝9，p＝0.9432，远高于 0.05。
结论：不能拒绝「这只是抽样波动」。不需要用「模型漂移」来解释这 12.6 个点。这与行业里的常见说法相反 —— 大多数「AI 表现不稳定」的抱怨，其实是每轮只问了几十次。
结论二：45 对比较，0 对显著
10 轮读数两两比较共 45 对。用两比例 z 检验（双侧 α=0.05）逐一比对：
| 指标 | 结果 |
|---|---|
| 比较对数 | 45 |
| 达到显著（p<0.05） | 0 |
| 最大差值 | 12.6 点（第 2 轮 vs 第 3 轮） |
换句话说：即使出现 12.6 个点的差距，统计上也说明不了任何问题。任何只跑两轮就宣布「涨了 / 跌了」的报告，都在这条线上翻车。
最小可检出差异（MDE）与所需样本量
MDE 回答的是：在给定样本量下，多大的差异才算「真的」。这个指标有两种常见口径，混用会造成结论打架，所以我们把两种都列出来。
| 口径 | n=80 时的 MDE | 检出 10 个点所需每组样本 |
|---|---|---|
| 只保证 α=0.05（差异的 95% 区间不含 0） | 15.5 点 | 192 |
| α=0.05 且 80% 检验效能（做实验规划时该用这个） | 22.1 点 | 392 |
两种口径都合理，区别是「只想证明不是 0」还是「想有把握测出来」。对外报告必须注明用的是哪一种。
| 想证明的差异 | 每组所需样本（仅 α） | 每组所需样本（α + 80% 效能） |
|---|---|---|
| 3 个百分点 | 2,129 | — |
| 5 个百分点 | 767 | 1,566 |
| 6 个百分点 | 533 | 1,088 |
| 10 个百分点 | 192 | 392 |
这就是为什么「5 个点的提升」在实践中很难验收：按 80% 效能算，每组要 1,566 个样本，双引擎双语就是四倍工作量。任何声称「两周把提及率提升 5 个点并已验证」的说法，先问他每组问了多少次。
三条可执行规则
- 报告数字必须带条件：n、日期、引擎、问题集版本。缺一项就无法复现。
- 没说 p 值的变化，默认视为没变。这不是苛刻，是防止把噪声卖给客户，也防止客户拿噪声否定你。
- 要证明 5 个点，先准备 767 个样本（仅 α）或 1,566（含效能），再谈工期和预算。
四种常见误读
| 说法 | 问题在哪 | 正确表述 |
|---|---|---|
| 「上周 41%，这周 54%，涨了 13 个点」 | 两轮各 80 样本，差异在噪声内 | 「两轮读数差 13 个点，未达显著（p>0.05），视为持平」 |
| 「竞品 60% 我们 47%，差 13 个点所以输了」 | 同样需要检验，且问题集必须一致 | 「同问题集下差 13 个点，需扩大样本才能判定」 |
| 「多问几次就准了」 | 方向对，但没说代价 | 「样本翻 4 倍，区间窄一半；精度可以买，但要付钱」 |
| 「AI 就是不稳定，没法测」 | 把抽样误差当成了系统漂移 | 「波动小于二项理论值，说明可测，只是样本要够」 |
边界
- 本定义适用于固定问题集 + 固定引擎版本 + 固定采样次数的重复测量；换问题集等于换了一把尺子，不能直接比。
- 提及率不含排名：我们不测「答案里第几个提到你」，因为模型输出的顺序稳定性更低，且不同引擎的排序逻辑不可比。
- 提及率不含情感：被提到不等于被正面提到。情感判断需要另一套标注方法，我们暂不提供。
- 十轮数据来自单一品牌单一行业，用于说明方法的波动特征，不代表任何行业基准。