一句话定义
抽样窗口=一轮测量从第一个问题问到最后一个问题的起止时间与覆盖范围;模型版本=回答这些问题的引擎与模型标识。两者都必须随提及率一起披露,缺一个,这个数字就不可复现。
为什么是这两项?因为提及率的分子(出现次数)会随窗口内的采样变化,而分母(总样本数)由窗口决定;模型版本决定「同一句话,谁在回答」。换了窗口是换样本,换了版本是换尺子。
为什么「隔天再测」看起来有效,其实无效
直觉是这样的:今天测到 41%,明天测到 54%,差得太多,说明单日不可靠;那就隔几天再测一次,取中间值。这个推理有两个漏洞:
- 它把抽样误差当成了「当天的偶发事件」。实际上每一轮都是独立抽样,隔天再抽一次,方差不会因此减少分毫。
- 它默认「时间拉开了,条件就变了」。但引擎版本没变、问题集没变、站点没变,唯一变的是随机数。
要验证这一点很简单:把多轮测量的时间戳打出来,看抖动跟时间间隔有没有关系。
实测一:10 轮的真实时间戳
同一个品牌、同一组 20 个问题、同一引擎版本、每轮 80 个样本,什么都没改,连测 10 轮:
| 轮次 | 时间戳 | 提及数 | 提及率 | 与上一轮的间隔 |
|---|---|---|---|---|
| 1 | 2026-10-24 10:51:22 | 38 | 47.5% | — |
| 2 | 2026-10-24 10:55:01 | 33 | 41.2% | 219 秒 |
| 3 | 2026-10-25 23:41:40 | 43 | 53.8% | 36.8 小时 |
| 4 | 2026-10-25 23:42:54 | 38 | 47.5% | 74 秒 |
| 5 | 2026-10-25 23:44:09 | 39 | 48.8% | 75 秒 |
| 6 | 2026-10-25 23:45:20 | 38 | 47.5% | 71 秒 |
| 7 | 2026-10-25 23:46:28 | 41 | 51.2% | 68 秒 |
| 8 | 2026-10-25 23:47:39 | 36 | 45.0% | 71 秒 |
| 9 | 2026-10-25 23:48:51 | 37 | 46.2% | 72 秒 |
| 10 | 2026-10-25 23:50:04 | 36 | 45.0% | 73 秒 |
第 1 轮与第 2 轮间隔 219 秒,第 2 轮到第 3 轮间隔 36.8 小时(跨天),其余 8 轮彼此间隔 70 秒左右。
实测二:219 秒内差 6.3 个点,8.4 分钟内全距 8.8 个点
| 测量段 | 轮数 | 时间跨度 | 均值 | 全距 | 标准差 |
|---|---|---|---|---|---|
| 第一段(连续两轮) | 2 | 219 秒 | 44.35% | 6.3 | 4.45 |
| 第二段(连续 8 轮) | 8 | 8.4 分钟 | 48.12% | 8.8 | 3.07 |
| 全部十轮 | 10 | 36.8 小时 + 8.4 分钟 | 47.37% | 12.6 | 3.48 |
219 秒内就出现了 6.3 个点的落差(做二项检验 p=0.4263,同样不显著);而把时间拉长到 36.8 小时,最大的一对相邻差是 12.6 个点——只比 219 秒内的落差多 6.3 分左右。窗口长度从 3.6 分钟扩到 36.8 小时,抖动并没有变小,只是抽到的随机数换了一批。
更关键的是:那一对 12.6 个点的差,做二项检验 p=0.1134,仍然不显著。相邻轮差的中位数是 3.7 个点,全部 10 轮的全距是 12.6 个点。
实测三:换引擎等于换了一把尺子
| 切分方式 | 组 | 样本 | 提及率 |
|---|---|---|---|
| 按引擎 | 引擎 A | 400 | 49.8% |
| 按引擎 | 引擎 B | 400 | 45.0% |
| 按语言 | 中文问题 | 400 | 44.2% |
| 按语言 | 越南语问题 | 400 | 50.5% |
引擎之间差 4.8 个点、语言之间差 6.3 个点,两组差值的检验都不显著。所以我们的结论是:这个样本量下不能说「引擎 A 更爱提品牌」或「越南语更容易被引用」。
但有一件事是确定的:把两轮来自不同引擎的读数放在一张折线上,那条线画的是引擎差异,不是品牌变化。这就是为什么「模型版本」必须写进报告。
报告必须写清的五项
| 项 | 写法 | 缺了会怎样 |
|---|---|---|
| 引擎与版本 | 引擎名 + 模型标识 + 调用日期 | 无法判断是否换了尺子 |
| 问题集 | 问题数量 + 全文可索取 | 换问法可以从 0 变 50 |
| 采样窗口 | 本轮起止时间(精确到分钟) | 无法判断是否跨了版本更新 |
| 样本量 | 总样本数 + 每种语言/引擎的分配 | 不知道误差有多大 |
| 逐轮时间戳 | 每个样本的时间,或至少每轮 | 无法复现,也无法查异常 |
这五项写全,报告才有「可被第三方复算」的资格。我们的测量方法页给出完整权重与复算步骤。
怎么用:降方差的唯一办法是加样本
当前每轮 80 个样本时,95% 置信区间宽约 21.4 个点,最小可检出差异 15.5 个点。想证明一个 10 个点的提升,需要 192 个样本——不是「多测几次」,而是每轮多抽。
- 多测几轮、各自 80 个样本:能提高均值估计的精度,但单轮读数依然不可信;
- 每轮加样本:直接压低区间宽度,这才是「让数字变稳」的操作;
- 把两轮合并算平均:如果两轮条件一致,可以,但必须报告合并后的 n,而不是两次读数的平均。
最后一条最常被写错:「两次平均 47.4%」不等于「47.4% 的提及率」。前者是对两个估计值求平均,后者是对 160 个样本求比例——四舍五入后数字可能一样,误差完全不同。
边界:我们自己也有一项做不到
- 我们拿不到厂商的模型版本号:多数 API 只返回模型名,不返回权重版本。所以我们只能记录「调用日期 + 模型名」,并在一段时期内把同名模型的变化视为不可见风险。这是已知缺陷,写在页面上而不是藏起来。
- 抽样窗口不覆盖「长时间漂移」:36.8 小时的窗口能证明「抖动与时间无关」,但证明不了「三个月后模型行为是否系统性改变」。那需要按周重复的系列监测。
- 窗口内的站点变化会污染样本:如果测量期间站点正在改版,同一轮里的样本就不是同一个对象,该轮作废。
- 不构成排名:本文所有数字都是「出现 / 未出现」,不含位次。