Định nghĩa một câu
Tỷ lệ được nhắc = số mẫu mà câu trả lời của AI có xuất hiện thương hiệu ÷ tổng số mẫu, trên một bộ câu hỏi cố định. Đây là một tỷ lệ nhị thức, luôn mang sai số lấy mẫu; mọi chênh lệch giữa hai lần đọc phải qua kiểm định ý nghĩa thì mới được gọi là «thay đổi».
Cách viết đầy đủ phải như sau: tỷ lệ 47,5% (n=80, 24-10-2026, DeepSeek + Zhipu GLM, 10 câu tiếng Trung + 10 câu tiếng Việt, mỗi câu lấy 2 mẫu). Thiếu phần trong ngoặc, con số không có nghĩa.
Vì sao không thể so trực tiếp một lần đọc
Tung 80 lần đồng xu, được 38 lần mặt ngửa. Bạn không kết luận xác suất mặt ngửa của đồng xu là 47,5%; bạn biết nó có thể là 45%, cũng có thể là 50%. Tỷ lệ được AI nhắc cũng vậy, chỉ là nhiều người quên mất điều đó.
Theo khoảng Wilson, lần đọc đầu của chúng tôi 38/80 = 47,5%, khoảng tin cậy 95% là 36,9%–58,3%, rộng 21,4 điểm. Nghĩa là: hai lần đọc khi «không có gì thay đổi» hoàn toàn có thể lệch nhau hơn mười điểm.
| Cỡ mẫu n | Nửa khoảng 95% khi p≈47% | Ý nghĩa trực quan |
|---|---|---|
| 80 (mỗi vòng hiện tại) | ±10,7 điểm | Lệch dưới 10 điểm thì không tin được bằng mắt |
| 400 | ±4,8 điểm | Lệch 5 điểm bắt đầu có nghĩa |
| 1.600 | ±2,4 điểm | Có thể bàn thay đổi 2–3 điểm |
Tính bằng độ lệch chuẩn nhị thức √(p(1−p)/n) nhân 1,96; mẫu tăng 4 lần thì khoảng chỉ hẹp đi một nửa — độ chính xác có giá của nó.
Mười vòng đo của chính chúng tôi
Từ 24-10 đến 25-10-2026, cùng một thương hiệu (Vinamilk), cùng bộ 20 câu hỏi, cùng phiên bản engine, chạy liên tiếp 10 vòng, mỗi vòng 80 mẫu, tổng 800 mẫu. Trong thời gian đó không đổi cấu hình website, không làm bất kỳ tối ưu nào.
| Vòng | Tỷ lệ | DeepSeek | Zhipu GLM | Tiếng Trung | Tiếng Việt |
|---|---|---|---|---|---|
| 1 | 47,5% | 52,5% | 42,5% | 45,0% | 50,0% |
| 2 | 41,2% | 45,0% | 37,5% | 37,5% | 45,0% |
| 3 | 53,8% | 57,5% | 50,0% | 52,5% | 55,0% |
| 4 | 47,5% | 47,5% | 47,5% | 45,0% | 50,0% |
| 5 | 48,8% | 45,0% | 52,5% | 50,0% | 47,5% |
| 6 | 47,5% | 52,5% | 42,5% | 47,5% | 47,5% |
| 7 | 51,2% | 47,5% | 55,0% | 42,5% | 60,0% |
| 8 | 45,0% | 52,5% | 37,5% | 42,5% | 47,5% |
| 9 | 46,2% | 47,5% | 45,0% | 42,5% | 50,0% |
| 10 | 45,0% | 50,0% | 40,0% | 37,5% | 52,5% |
Trung bình 10 vòng 47,4%, thấp nhất 41,2%, cao nhất 53,8%, toàn khoảng 12,6 điểm. Trong 12,6 điểm dao động đó không có lần nào là «model đổi» hay «tối ưu có tác dụng» — chúng tôi không thay đổi gì cả.
Kết luận một: toàn khoảng 12,6 điểm không phải trôi dạt, mà là thiếu mẫu
Nhiều người trực giác cho rằng «model AI không ổn định nên số đọc sẽ dao động». Dữ liệu của chúng tôi phản bác trực giác đó:
- Độ lệch chuẩn thực đo 3,48 điểm; độ lệch chuẩn lý thuyết nhị thức trong cùng điều kiện 5,58 điểm.
- Tỷ lệ 0,62 lần — dao động thực đo nhỏ hơn lý thuyết, không phải lớn hơn.
- Kiểm định quá phân tán: χ² = 3,45, df = 9, p = 0,9432, cao hơn hẳn 0,05.
Kết luận: không thể bác bỏ giả thuyết «đây chỉ là dao động lấy mẫu». Không cần dùng «model trôi dạt» để giải thích 12,6 điểm đó. Điều này ngược với cách nói phổ biến trong ngành — phần lớn lời phàn nàn «AI không ổn định» thực ra là mỗi vòng chỉ hỏi vài chục lần.
Kết luận hai: 45 cặp so sánh, 0 cặp có ý nghĩa
Mười vòng đọc cho 45 cặp so sánh. Dùng kiểm định z hai tỷ lệ (hai phía, α=0,05) để so từng cặp:
| Chỉ tiêu | Kết quả |
|---|---|
| Số cặp so sánh | 45 |
| Đạt ý nghĩa (p<0,05) | 0 |
| Chênh lệch lớn nhất | 12,6 điểm (vòng 2 so với vòng 3) |
Nói cách khác: ngay cả khi xuất hiện chênh lệch 12,6 điểm, về mặt thống kê cũng không chứng minh được gì. Mọi báo cáo chỉ chạy hai vòng rồi tuyên bố «tăng/giảm» đều gãy ở đúng đường này.
Chênh lệch nhỏ nhất phát hiện được (MDE) và cỡ mẫu cần thiết
MDE trả lời: với cỡ mẫu cho trước, chênh lệch bao nhiêu mới là «thật». Chỉ tiêu này có hai cách tính phổ biến, trộn lẫn sẽ làm kết luận đánh nhau, nên chúng tôi liệt kê cả hai.
| Cách tính | MDE khi n=80 | Mẫu mỗi nhóm để phát hiện 10 điểm |
|---|---|---|
| Chỉ bảo đảm α=0,05 (khoảng 95% của chênh lệch không chứa 0) | 15,5 điểm | 192 |
| α=0,05 và hiệu lực 80% (nên dùng khi lập kế hoạch thí nghiệm) | 22,1 điểm | 392 |
Hai cách đều hợp lý, khác nhau ở chỗ «chỉ muốn chứng minh khác 0» hay «muốn có độ tin để đo ra». Báo cáo đối ngoại phải ghi rõ dùng cách nào.
| Chênh lệch muốn chứng minh | Mẫu mỗi nhóm (chỉ α) | Mẫu mỗi nhóm (α + hiệu lực 80%) |
|---|---|---|
| 3 điểm phần trăm | 2,129 | — |
| 5 điểm phần trăm | 767 | 1,566 |
| 6 điểm phần trăm | 533 | 1,088 |
| 10 điểm phần trăm | 192 | 392 |
Đó là lý do «tăng 5 điểm» rất khó nghiệm thu trong thực tế: tính theo hiệu lực 80%, mỗi nhóm cần 1,566 mẫu, nhân hai engine hai ngôn ngữ là gấp bốn khối lượng. Bất kỳ tuyên bố «hai tuần tăng 5 điểm và đã kiểm chứng» nên hỏi lại: mỗi nhóm đã hỏi bao nhiêu lần.
Ba quy tắc thực thi
- Con số báo cáo phải kèm điều kiện: n, ngày, engine, phiên bản bộ câu hỏi. Thiếu một mục là không tái lập được.
- Thay đổi không kèm p-value thì mặc định coi là không đổi. Không phải khắt khe, mà để không bán nhiễu cho khách và cũng không để khách dùng nhiễu phủ định bạn.
- Muốn chứng minh 5 điểm thì chuẩn bị 767 mẫu (chỉ α) hoặc 1,566 (kèm hiệu lực), rồi mới bàn tiến độ và ngân sách.
Bốn cách hiểu sai phổ biến
| Cách nói | Vấn đề | Cách nói đúng |
|---|---|---|
| «Tuần trước 41%, tuần này 54%, tăng 13 điểm» | Hai vòng mỗi vòng 80 mẫu, chênh lệch nằm trong nhiễu | «Hai vòng lệch 13 điểm, chưa đạt ý nghĩa (p>0,05), coi như không đổi» |
| «Đối thủ 60%, ta 47%, lệch 13 điểm nên thua» | Cũng cần kiểm định, và bộ câu hỏi phải giống nhau | «Cùng bộ câu hỏi lệch 13 điểm, cần tăng mẫu mới kết luận» |
| «Hỏi nhiều lần là chính xác» | Đúng hướng nhưng không nói cái giá | «Mẫu tăng 4 lần thì khoảng hẹp một nửa; độ chính xác mua được, nhưng phải trả tiền» |
| «AI vốn không ổn định, không đo được» | Nhầm sai số lấy mẫu với trôi dạt hệ thống | «Dao động nhỏ hơn lý thuyết nhị thức, tức là đo được, chỉ cần đủ mẫu» |
Giới hạn
- Định nghĩa này áp dụng cho đo lặp lại trên bộ câu hỏi cố định + phiên bản engine cố định + số lần lấy mẫu cố định; đổi bộ câu hỏi là đổi cây thước, không so trực tiếp được.
- Tỷ lệ được nhắc không bao gồm thứ hạng: chúng tôi không đo «bạn được nhắc ở vị trí thứ mấy», vì thứ tự đầu ra của model kém ổn định hơn và logic sắp xếp giữa các engine không so sánh được.
- Tỷ lệ được nhắc không bao gồm sắc thái: được nhắc không đồng nghĩa được nhắc tích cực. Đánh giá sắc thái cần một phương pháp gán nhãn khác, hiện chúng tôi chưa cung cấp.
- Dữ liệu 10 vòng đến từ một thương hiệu, một ngành, dùng để minh họa đặc tính dao động của phương pháp, không đại diện cho chuẩn ngành nào.