定义 · 抽样窗口

把两次测量拉开时间,不会让数字变稳

「多测几天再下结论」听起来很稳,但在提及率这件事上它几乎没用。我们连测 10 轮、什么都没改,最短的一对间隔 219 秒就差了 6.3 个点。这篇用真实时间戳说明:抖动来自抽样,不来自时间;要降方差只有一条路——加样本。

01

一句话定义

抽样窗口=一轮测量从第一个问题问到最后一个问题的起止时间与覆盖范围;模型版本=回答这些问题的引擎与模型标识。两者都必须随提及率一起披露,缺一个,这个数字就不可复现。

为什么是这两项?因为提及率的分子(出现次数)会随窗口内的采样变化,而分母(总样本数)由窗口决定;模型版本决定「同一句话,谁在回答」。换了窗口是换样本,换了版本是换尺子。

02

为什么「隔天再测」看起来有效,其实无效

直觉是这样的:今天测到 41%,明天测到 54%,差得太多,说明单日不可靠;那就隔几天再测一次,取中间值。这个推理有两个漏洞:

要验证这一点很简单:把多轮测量的时间戳打出来,看抖动跟时间间隔有没有关系。

03

实测一:10 轮的真实时间戳

同一个品牌、同一组 20 个问题、同一引擎版本、每轮 80 个样本,什么都没改,连测 10 轮:

轮次时间戳提及数提及率与上一轮的间隔
12026-10-24 10:51:223847.5%—
22026-10-24 10:55:013341.2%219 秒
32026-10-25 23:41:404353.8%36.8 小时
42026-10-25 23:42:543847.5%74 秒
52026-10-25 23:44:093948.8%75 秒
62026-10-25 23:45:203847.5%71 秒
72026-10-25 23:46:284151.2%68 秒
82026-10-25 23:47:393645.0%71 秒
92026-10-25 23:48:513746.2%72 秒
102026-10-25 23:50:043645.0%73 秒

第 1 轮与第 2 轮间隔 219 秒,第 2 轮到第 3 轮间隔 36.8 小时(跨天),其余 8 轮彼此间隔 70 秒左右。

04

实测二:219 秒内差 6.3 个点,8.4 分钟内全距 8.8 个点

测量段轮数时间跨度均值全距标准差
第一段(连续两轮)2219 秒44.35%6.34.45
第二段(连续 8 轮)88.4 分钟48.12%8.83.07
全部十轮1036.8 小时 + 8.4 分钟47.37%12.63.48

219 秒内就出现了 6.3 个点的落差(做二项检验 p=0.4263,同样不显著);而把时间拉长到 36.8 小时,最大的一对相邻差是 12.6 个点——只比 219 秒内的落差多 6.3 分左右。窗口长度从 3.6 分钟扩到 36.8 小时,抖动并没有变小,只是抽到的随机数换了一批。

更关键的是:那一对 12.6 个点的差,做二项检验 p=0.1134,仍然不显著。相邻轮差的中位数是 3.7 个点,全部 10 轮的全距是 12.6 个点。

05

实测三:换引擎等于换了一把尺子

切分方式组样本提及率
按引擎引擎 A40049.8%
按引擎引擎 B40045.0%
按语言中文问题40044.2%
按语言越南语问题40050.5%

引擎之间差 4.8 个点、语言之间差 6.3 个点,两组差值的检验都不显著。所以我们的结论是:这个样本量下不能说「引擎 A 更爱提品牌」或「越南语更容易被引用」。

但有一件事是确定的:把两轮来自不同引擎的读数放在一张折线上,那条线画的是引擎差异,不是品牌变化。这就是为什么「模型版本」必须写进报告。

06

报告必须写清的五项

项写法缺了会怎样
引擎与版本引擎名 + 模型标识 + 调用日期无法判断是否换了尺子
问题集问题数量 + 全文可索取换问法可以从 0 变 50
采样窗口本轮起止时间(精确到分钟)无法判断是否跨了版本更新
样本量总样本数 + 每种语言/引擎的分配不知道误差有多大
逐轮时间戳每个样本的时间,或至少每轮无法复现,也无法查异常

这五项写全,报告才有「可被第三方复算」的资格。我们的测量方法页给出完整权重与复算步骤。

07

怎么用:降方差的唯一办法是加样本

当前每轮 80 个样本时,95% 置信区间宽约 21.4 个点,最小可检出差异 15.5 个点。想证明一个 10 个点的提升,需要 192 个样本——不是「多测几次」,而是每轮多抽。

最后一条最常被写错:「两次平均 47.4%」不等于「47.4% 的提及率」。前者是对两个估计值求平均,后者是对 160 个样本求比例——四舍五入后数字可能一样,误差完全不同。

08

边界:我们自己也有一项做不到

一句话总结:时间拉长不会让随机数变乖。要更稳的数字,只有加样本、固定版本、公开窗口——三件事都不做,就只能接受 ±10 个点的读数。

在越南做生意,判断比努力重要

《越南昨日头条》每天一期:政策变动、产业信号、可执行清单,不发广告。已日更 60 多期。

扫码关注 · 每天 5 分钟扫码用小程序问一句

88/100
本页 AI 就绪度 88/100由越智通GEO诊断引擎实测 · 2026-11-20 · 免费测你的网站 →