Định nghĩa một câu
Cửa sổ lấy mẫu là khoảng thời gian từ câu hỏi đầu đến câu hỏi cuối của một vòng đo, kèm phạm vi câu hỏi được hỏi; phiên bản mô hình là công cụ và mô hình trả lời những câu hỏi đó. Cả hai phải được công bố cùng tỷ lệ được nhắc; thiếu một, con số không tái lập được.
Vì sao đúng hai mục này? Vì tử số (số lần xuất hiện) thay đổi theo mẫu trong cửa sổ, còn mẫu số do cửa sổ quyết định; phiên bản mô hình quyết định «cùng một câu hỏi thì ai trả lời». Đổi cửa sổ là đổi mẫu, đổi phiên bản là đổi cây thước.
Vì sao «mai đo lại» có vẻ hiệu quả mà thực ra không
Trực giác nói rằng: hôm nay đo được 41%, mai đo được 54%, lệch quá nhiều nên một ngày là không đáng tin; vậy đo lại sau vài ngày rồi lấy giá trị giữa. Suy luận này có hai lỗ hổng:
- Nó coi sai số lấy mẫu là «sự cố của riêng ngày hôm đó». Thực tế mỗi vòng là một lần lấy mẫu độc lập; lấy mẫu lại vào ngày khác không làm phương sai giảm đi chút nào.
- Nó mặc định «kéo dài thời gian thì điều kiện đã đổi». Nhưng phiên bản công cụ không đổi, bộ câu hỏi không đổi, website không đổi; thứ duy nhất đổi là số ngẫu nhiên.
Kiểm chứng rất đơn giản: in dấu thời gian của các vòng ra, xem dao động có liên quan gì đến khoảng cách thời gian hay không.
Đo thực tế một: dấu thời gian thật của 10 vòng
Cùng một thương hiệu, cùng bộ 20 câu hỏi, cùng phiên bản công cụ, mỗi vòng 80 mẫu, không sửa gì, đo liên tiếp 10 vòng:
| Vòng | Dấu thời gian | Số lần được nhắc | Tỷ lệ | Cách vòng trước |
|---|---|---|---|---|
| 1 | 2026-10-24 10:51:22 | 38 | 47,5% | — |
| 2 | 2026-10-24 10:55:01 | 33 | 41,2% | 219 giây |
| 3 | 2026-10-25 23:41:40 | 43 | 53,8% | 36,8 giờ |
| 4 | 2026-10-25 23:42:54 | 38 | 47,5% | 74 giây |
| 5 | 2026-10-25 23:44:09 | 39 | 48,8% | 75 giây |
| 6 | 2026-10-25 23:45:20 | 38 | 47,5% | 71 giây |
| 7 | 2026-10-25 23:46:28 | 41 | 51,2% | 68 giây |
| 8 | 2026-10-25 23:47:39 | 36 | 45,0% | 71 giây |
| 9 | 2026-10-25 23:48:51 | 37 | 46,2% | 72 giây |
| 10 | 2026-10-25 23:50:04 | 36 | 45,0% | 73 giây |
Vòng một và vòng hai cách nhau 219 giây, vòng hai sang vòng ba cách 36,8 giờ (qua ngày), 8 vòng còn lại cách nhau khoảng 70 giây.
Đo thực tế hai: 219 giây lệch 6,3 điểm, 8,4 phút toàn khoảng 8,8 điểm
| Đoạn đo | Số vòng | Khoảng thời gian | Trung bình | Toàn khoảng | Độ lệch chuẩn |
|---|---|---|---|---|---|
| Đoạn một (hai vòng liền) | 2 | 219 giây | 44,35% | 6,3 | 4,45 |
| Đoạn hai (8 vòng liền) | 8 | 8,4 phút | 48,12% | 8,8 | 3,07 |
| Cả mười vòng | 10 | 36,8 giờ + 8,4 phút | 47,37% | 12,6 | 3,48 |
Chỉ 219 giây đã có chênh lệch 6,3 điểm (kiểm định nhị thức p=0,4263, cũng không có ý nghĩa); kéo dài lên 36,8 giờ, cặp gần nhau lớn nhất là 12,6 điểm — chỉ hơn chênh lệch trong 219 giây khoảng 6,3 điểm. Cửa sổ từ 3,6 phút mở rộng đến 36,8 giờ mà dao động không nhỏ đi, chỉ là rút được một bộ số ngẫu nhiên khác.
Quan trọng hơn: cặp lệch 12,6 điểm đó, kiểm định nhị thức cho p=0,1134, vẫn không có ý nghĩa. Trung vị chênh lệch giữa hai vòng liền là 3,7 điểm; toàn khoảng của cả 10 vòng là 12,6 điểm.
Đo thực tế ba: đổi công cụ là đổi cây thước
| Cách chia | Nhóm | Cỡ mẫu | Tỷ lệ được nhắc |
|---|---|---|---|
| Theo công cụ | Công cụ A | 400 | 49,8% |
| Theo công cụ | Công cụ B | 400 | 45,0% |
| Theo ngôn ngữ | Câu hỏi tiếng Trung | 400 | 44,2% |
| Theo ngôn ngữ | Câu hỏi tiếng Việt | 400 | 50,5% |
Hai công cụ lệch 4,8 điểm, hai ngôn ngữ lệch 6,3 điểm, và cả hai kiểm định đều không có ý nghĩa. Kết luận của chúng tôi: với cỡ mẫu này không thể nói «công cụ A thích nhắc thương hiệu hơn» hay «tiếng Việt dễ được trích hơn».
Nhưng có một điều chắc chắn: đặt hai vòng đo từ hai công cụ khác nhau lên cùng một đường biểu diễn, đường đó vẽ khác biệt công cụ chứ không phải thay đổi thương hiệu. Đó là lý do «phiên bản mô hình» phải nằm trong báo cáo.
Năm mục bắt buộc trong báo cáo
| Mục | Cách viết | Thiếu thì sao |
|---|---|---|
| Công cụ và phiên bản | Tên công cụ + định danh mô hình + ngày gọi | Không biết có đổi cây thước hay không |
| Bộ câu hỏi | Số câu + có thể yêu cầu toàn văn | Đổi cách hỏi có thể từ 0 lên 50 |
| Cửa sổ lấy mẫu | Thời điểm bắt đầu và kết thúc vòng (đến phút) | Không biết có vắt qua lần cập nhật phiên bản |
| Cỡ mẫu | Tổng số mẫu + phân bổ theo ngôn ngữ và công cụ | Không biết sai số lớn đến đâu |
| Dấu thời gian từng vòng | Thời gian của từng mẫu, tối thiểu từng vòng | Không tái lập được, cũng không truy được bất thường |
Đủ năm mục thì báo cáo mới có tư cách «để bên thứ ba tính lại». Trang phương pháp đo của chúng tôi công bố đầy đủ trọng số và các bước tính lại.
Cách dùng: giảm phương sai chỉ bằng cách tăng cỡ mẫu
Với 80 mẫu mỗi vòng hiện nay, khoảng tin cậy 95% rộng khoảng 21,4 điểm, chênh lệch nhỏ nhất phát hiện được là 15,5 điểm. Muốn chứng minh mức tăng 10 điểm, cần 192 mẫu — không phải «đo nhiều lần», mà là lấy nhiều mẫu hơn trong mỗi vòng.
- Đo nhiều vòng, mỗi vòng 80 mẫu: cải thiện độ chính xác của ước lượng trung bình, nhưng một vòng riêng lẻ vẫn không đáng tin;
- Tăng mẫu mỗi vòng: trực tiếp thu hẹp khoảng tin cậy, đây mới là thao tác «làm số ổn định»;
- Gộp hai vòng để tính trung bình: nếu điều kiện hai vòng khớp nhau thì được, nhưng phải báo cỡ mẫu gộp, không phải trung bình của hai con số.
Mục cuối hay bị viết sai nhất: «trung bình hai lần là 47,4%» không bằng «tỷ lệ được nhắc 47,4%». Cái trước là trung bình của hai ước lượng, cái sau là tỷ lệ trên 160 mẫu — sau khi làm tròn có thể ra cùng một số, nhưng sai số hoàn toàn khác.
Giới hạn: chúng tôi cũng có một việc không làm được
- Chúng tôi không lấy được số phiên bản trọng số của nhà cung cấp: phần lớn API chỉ trả tên mô hình, không trả phiên bản trọng số. Vì vậy chúng tôi chỉ ghi «ngày gọi + tên mô hình», và coi thay đổi của mô hình cùng tên trong một giai đoạn là rủi ro không nhìn thấy được. Đây là khiếm khuyết đã biết, ghi ra chứ không giấu.
- Cửa sổ không bao quát «trôi dạt dài hạn»: cửa sổ 36,8 giờ chứng minh được «dao động không liên quan thời gian», nhưng không chứng minh được «ba tháng sau mô hình có thay đổi hành vi hệ thống hay không». Việc đó cần đo chuỗi theo tuần.
- Website thay đổi giữa cửa sổ sẽ làm nhiễm mẫu: nếu trong lúc đo website đang được làm lại, các mẫu trong cùng vòng không còn là cùng một đối tượng, vòng đó phải bỏ.
- Không phải xếp hạng: mọi con số trong bài là «có xuất hiện / không xuất hiện», không gồm thứ hạng.