Nếu bạn đang dùng câu hỏi “AI có nhắc tới chúng tôi không” để quyết định một khoản ngân sách, bài này có thể sẽ khiến bạn khó chịu.
Chúng tôi chạy cùng một thương hiệu, cùng một bộ câu hỏi, cùng hai mô hình, cùng số mẫu, lặp lại 10 lượt ở những thời điểm khác nhau. Không đổi thương hiệu, không sửa câu hỏi, không đổi mô hình, không chỉnh temperature. Vậy mà lượt nào cũng khác: thấp nhất 41,2%, cao nhất 53,8%, chênh nhau 12,6 điểm phần trăm.
Nhưng điều đáng viết không phải con số chênh lệch, mà là nguồn gốc của nó. Chúng tôi vốn cho rằng sẽ thấy “mô hình tự trôi” — cùng một câu hỏi, lúc khác trả lời khác. Dữ liệu bác bỏ giả thuyết đó: 12,6 điểm này giải thích trọn vẹn chỉ bằng một việc là “mỗi lượt chỉ hỏi 80 lần”, không cần đến bất kỳ thay đổi nào của thế giới bên ngoài.
Một, kết luận trước: bốn câu
- Chỉ số này có mức nhiễu nền. 10 lượt cho chênh lệch toàn dải 12,6 điểm, độ lệch chuẩn mẫu 3,48 điểm — lớn hơn “mức tăng trong tháng” mà phần lớn nhà cung cấp dùng để khoe.
- Nhiễu này gần như toàn bộ đến từ lấy mẫu, không từ mô hình. Với 80 mẫu mỗi lượt, độ lệch chuẩn lý thuyết theo nhị thức là 5,58 điểm; thực đo 3,48, chỉ bằng 0,62 lần lý thuyết (χ²=3,5, bậc tự do 9, p=0,9432) — còn “gọn” hơn cả lý thuyết.
- 45 cặp so sánh, không cặp nào có ý nghĩa. Khi mức thật không đổi, trung vị chênh lệch giữa hai lượt bất kỳ là 3,7 điểm, cao nhất 12,6 điểm, nhưng tất cả đều nằm trong sai số lấy mẫu.
- 80 mẫu mỗi lượt chỉ nhìn được thay đổi từ 15,5 điểm trở lên. Dưới mức đó, dù báo tới chữ số thập phân thứ mấy cũng không có năng lực phân biệt.
Hai, thiết kế thí nghiệm: khóa mọi biến có thể khóa
Phần này để bất kỳ ai cũng lặp lại được, không phải để bạn tin vào kết luận. Toàn bộ biến kiểm soát:
| Biến | Thiết lập | Vì sao phải khóa |
|---|---|---|
| Thương hiệu được đo | Một thương hiệu tiêu dùng Việt Nam, kèm tên gọi khác bằng tiếng Trung và tiếng Việt | Đổi thương hiệu là đổi mức nền (độ chính xác đo được ở mức 0% và 50% rất khác nhau) |
| Bộ câu hỏi | Cố định 10 câu tiếng Trung + 10 câu tiếng Việt, giữ nguyên từng chữ | Đổi cách hỏi là xác suất “ai được nhắc” đổi ngay |
| Mô hình | DeepSeek (deepseek-chat) + Zhipu (glm-4-flash) | Khác biệt nguồn dữ liệu giữa các mô hình lớn hơn nhiều so với hiệu quả một lần tối ưu |
| Temperature | 0,6, giống nhau ở mọi lượt | Temperature quyết định trực tiếp độ ngẫu nhiên của câu trả lời |
| Số lần hỏi mỗi câu | 2 lần | Hỏi một lần là gộp toàn bộ ngẫu nhiên vào kết quả |
| Mẫu mỗi lượt | 10 câu × 2 ngôn ngữ × 2 mô hình × 2 lần = 80 | Mẫu số cố định thì các lượt mới so sánh được |
| Cách xác định “có nhắc” | Chuẩn hóa văn bản trả lời, kiểm tra có chứa tên thương hiệu hoặc tên gọi khác | Đổi quy tắc là cả tỷ lệ dịch chuyển |
| Biến duy nhất không khóa | Thời điểm | Đây chính là thứ chúng tôi muốn đo |
Ba, kết quả 10 lượt: toàn dải 12,6 điểm phần trăm
Mỗi lượt là một lần đầy đủ “hỏi → thu thập → xác định”, các lượt độc lập hoàn toàn. 2 lượt đầu vào sáng 24/10, 8 lượt sau vào đêm 25/10 — tổng độ trải 37 giờ. Chi tiết này quan trọng: nếu dao động đến từ việc “mô hình trôi theo thời gian” thì bắc qua cả một ngày phải rõ hơn; nhưng kiểm định bên dưới cho thấy không phải vậy. Dưới đây là toàn bộ số liệu gốc, không làm mượt, không loại bỏ lượt nào:
| Lượt | Ngày | Nhắc / Mẫu | Tỷ lệ | Lệch so với trung bình |
|---|---|---|---|---|
| Lượt 1 | 2026-10-24 | 38 / 80 | 47,5% | +0,1 |
| Lượt 2 | 2026-10-24 | 33 / 80 | 41,2% | -6,2 |
| Lượt 3 | 2026-10-25 | 43 / 80 | 53,8% | +6,4 |
| Lượt 4 | 2026-10-25 | 38 / 80 | 47,5% | +0,1 |
| Lượt 5 | 2026-10-25 | 39 / 80 | 48,8% | +1,4 |
| Lượt 6 | 2026-10-25 | 38 / 80 | 47,5% | +0,1 |
| Lượt 7 | 2026-10-25 | 41 / 80 | 51,2% | +3,8 |
| Lượt 8 | 2026-10-25 | 36 / 80 | 45,0% | -2,4 |
| Lượt 9 | 2026-10-25 | 37 / 80 | 46,2% | -1,2 |
| Lượt 10 | 2026-10-25 | 36 / 80 | 45,0% | -2,4 |
Trung bình 47,4%, thấp nhất 41,2%, cao nhất 53,8%, toàn dải 12,6 điểm phần trăm, độ lệch chuẩn mẫu 3,48 điểm.
Khoảng này nghĩa là gì: nếu một nhà cung cấp đo đầu tháng được 41,2% và cuối tháng được 53,8%, họ hoàn toàn có thể viết báo cáo “tăng 12,6 điểm phần trăm” — trong khi không làm gì cả. Không phải để buộc tội ai, mà để nói rõ: một tỷ lệ tăng trưởng thiếu thông tin về độ phân tán thì có thể được tạo ra bằng cách chọn thời điểm đo.
Bốn, 12,6 điểm này có cần “thế giới đã thay đổi” để giải thích không? Không cần
Đây là chỗ chúng tôi đoán sai, và đáng viết đầy đủ.
Giả thuyết ban đầu: ngoài ngẫu nhiên lấy mẫu, bản thân mô hình còn trôi theo thời gian (cùng một câu hỏi, hôm nay đáp A, mai đáp B), nên dao động thực đo phải lớn hơn lý thuyết nhị thức. Với tỷ lệ gộp p=47,4% và n=80 mỗi lượt, độ lệch chuẩn lý thuyết là:
σ = √(p(1−p)/n) = √(0,47 × (1−0,47) ÷ 80) ≈ 5,58 điểm phần trăm
Thực đo là 3,48 điểm, thấp hơn lý thuyết, tỷ lệ 0,62. Kiểm định siêu nhị thức: χ² = 3,5, bậc tự do 9, p = 0,9432 — dữ liệu rất khớp với cách giải thích đơn giản nhất là “chỉ có ngẫu nhiên lấy mẫu”.
| Kiểm định | Thống kê | Kết luận |
|---|---|---|
| Độ lệch chuẩn quan sát giữa các lượt | 3,48 điểm phần trăm | — |
| Độ lệch chuẩn lý thuyết nhị thức (n=80) | 5,58 điểm phần trăm | Thực đo / lý thuyết = 0,62 |
| Kiểm định chi bình phương siêu nhị thức | χ²=3,5, df=9, p=0,9432 | Không bác bỏ được “chỉ có ngẫu nhiên lấy mẫu” |
Nói cách khác: trong 10 lượt này không có bằng chứng nào cho thấy “thế giới đã thay đổi”. 12,6 điểm nhảy đó chỉ là cùng một đồng xu, mỗi lần tung 80 lần.
Kết luận này có giá trị lớn hơn “mô hình sẽ trôi”. Nếu trôi đến từ mô hình thì tăng số mẫu cũng không triệt được, chỉ còn cách lấy trung bình nhiều lượt; còn dữ liệu nói trôi nằm trong lấy mẫu, vậy “tăng số mẫu” là một lời giải chắc chắn hiệu quả — và đó là thứ quản lý được.
Nhân đây giải thích một điểm phản trực giác: vì sao dao động thực đo lại nhỏ hơn lý thuyết? Hai lý do. Thứ nhất, p trong công thức lý thuyết được ước lượng từ chính 10 lượt này, nên nó bám sát giá trị trung bình và có xu hướng đánh giá thấp độ phân tán. Thứ hai, mỗi lượt chỉ 80 mẫu và các mẫu chia sẻ cùng 20 câu hỏi, nên tỷ lệ bị “san phẳng” bởi phân bố độ khó của bộ câu hỏi, khiến các lượt gần nhau hơn so với tung đồng xu độc lập. Vì vậy 0,62 không nên đọc thành “AI rất ổn định”, mà chỉ nên đọc thành “với thiết kế này chúng tôi không thấy trôi thêm từ mô hình, nhưng điều đó cũng có nghĩa nó nhỏ hơn độ phân giải hiện tại”.
Năm, trong 45 cặp so sánh chỉ 0 cặp có ý nghĩa
Ghép 10 lượt thành từng cặp, ta có 45 phép so sánh. Nếu mọi chênh lệch đều là tín hiệu thật, trong cùng một ngày thương hiệu này sẽ “tăng có ý nghĩa” và “giảm có ý nghĩa” vài chục lần — rõ ràng vô lý. Kết quả thực tế:
| Chỉ tiêu | Giá trị | Ý nghĩa |
|---|---|---|
| Tổng số cặp so sánh | 45 | Toàn bộ tổ hợp 10 lượt |
| Số cặp đạt p<0,05 | 0 | Không có cặp nào |
| Trung vị chênh lệch | 3,7 điểm phần trăm | Một nửa số cặp chênh ít hơn giá trị này |
| Cặp chênh nhiều nhất | Lượt 2 và 3, 12,6 điểm | z = -1,58, p = 0,11, vẫn không có ý nghĩa |
Bảng này là toàn bộ lý do khiến “so sánh một lần” không đáng tin: khi mức thật không đổi, trung vị chênh lệch giữa hai lượt bất kỳ là 3,7 điểm, cao nhất 12,6 điểm, nhưng cặp lớn nhất cũng chỉ đạt p = 0,11. Nếu kế hoạch đo của bạn là “tuần này đo một lần, tuần trước đo một lần rồi so”, thì tuần nào bạn cũng đang đọc nhiễu.
Một ví dụ. Trong thí nghiệm này, lượt 2 được 41,2% và lượt 3 được 53,8%, chênh 12,6 điểm. Chỉ lấy hai lần đó, một báo cáo có thể viết: “Sau khi tối ưu nội dung, tỷ lệ được AI nhắc tăng từ 41,2% lên 53,8%, tức 12,6 điểm phần trăm, hiệu quả rõ rệt.” Mọi con số đều đúng, kết luận thì sai — vì giữa hai lần đó chúng tôi không thay đổi gì, và p của cặp này là 0,11. Đây chính là vấn đề dễ gặp nhất khi không báo cáo mức ý nghĩa: không cần nói dối, chỉ cần chọn đúng hai lần đo.
Sáu, bảng phân biệt: thay đổi bao nhiêu mới đáng coi là “tăng”
Ở mức p≈47,4%, chênh lệch nhỏ nhất mà từng cỡ mẫu phát hiện được một cách đáng tin (hai phía 95%):
| Số mẫu mỗi lượt | Chênh lệch nhỏ nhất phát hiện được | Phù hợp cho |
|---|---|---|
| 40 | ±21,9 điểm phần trăm | Dưới mức này chỉ thấy hướng thô |
| 80 | ±15,5 điểm phần trăm | Thiết lập hiện tại của chúng tôi |
| 160 | ±10,9 điểm phần trăm | Phân biệt được thay đổi dưới 10 điểm |
| 320 | ±7,7 điểm phần trăm | Phù hợp so sánh theo tuần |
| 640 | ±5,5 điểm phần trăm | Phù hợp quy kết theo từng trang |
Cách đọc: nếu mỗi lượt chỉ hỏi 80 lần thì thay đổi trong khoảng 15,5 điểm công cụ không có khả năng phân biệt, báo tới chữ số thập phân thứ hai cũng vậy. Muốn thấy chắc chắn thay đổi 10 điểm, mỗi lượt cần 192 mẫu; thấy 6 điểm cần 533; thấy 5 điểm cần 767.
Đối chiếu bảng này với công cụ bạn đang dùng, rất nhiều báo cáo “tuần này tăng 3%” sẽ tự mất hiệu lực — không phải vì báo cáo làm giả, mà vì chênh lệch ở mức đó không thể đo được với bất kỳ sơ đồ lấy mẫu nào hiện có.
Bảy, chênh lệch mô hình 4,8 điểm, chênh lệch ngôn ngữ 6,3 điểm — chúng tôi chưa dám kết luận
Gộp toàn bộ các lượt lại (mỗi ô 400 mẫu), hai nhóm trông có vẻ khác nhau:
| Nhóm | Tỷ lệ gộp | Khoảng giữa các lượt | Chênh so với mốc | Kiểm định |
|---|---|---|---|---|
| DeepSeek (deepseek-chat) | 49,8% | 45,0% – 57,5% | Mốc | — |
| Zhipu (glm-4-flash) | 45,0% | 37,5% – 55,0% | -4,8 | z=1,34, p=0,18 |
| Câu hỏi tiếng Trung | 44,2% | 37,5% – 52,5% | Mốc | — |
| Câu hỏi tiếng Việt | 50,5% | 45,0% – 60,0% | +6,3 | z=1,77, p=0,08 |
Theo trực giác sẽ nói “DeepSeek cao hơn Zhipu 4,8 điểm, tức DeepSeek dễ bị tác động hơn”, hoặc “câu hỏi tiếng Việt cao hơn 6,3 điểm, tức nhận biết ở thị trường Việt tốt hơn”. Nhưng theo kiểm định, cả hai chênh lệch đều chưa đạt mức ý nghĩa (p = 0,18 và p = 0,08).
Để xác nhận một chênh lệch 6,3 điểm, mỗi nhóm cần khoảng 533 mẫu; hiện tại mỗi ô chỉ có 400. Vì vậy bài này không viết “thị trường tiếng Trung yếu hơn” — điều đó có thể đúng, nhưng bằng chứng trong tay chúng tôi chưa ủng hộ nó.
Đây cũng là lý do chúng tôi không nhồi “biểu đồ radar so sánh mô hình” vào sản phẩm: hai nhóm trông khác nhau rất có thể chỉ vì thiếu mẫu. Muốn kết luận, phải tăng mẫu trước.
Tám, muốn đo được thay đổi, cụ thể phải sửa ba việc
Kết luận không chỉ là “cách đo hiện tại không đáng tin”, mà phải đưa ra đường đi được. Dựa trên các con số trên, chỉ ba việc thực sự hiệu quả:
| Việc | Hiện tại | Đổi thành | Chi phí và lợi ích |
|---|---|---|---|
| Tăng số mẫu mỗi lượt | 80 mẫu | 192 mẫu (muốn thấy 10 điểm) | Một lượt từ khoảng 1 phút lên khoảng 2,5 phút; mức phân biệt từ 15,5 điểm xuống 10 điểm |
| Cố định bộ câu hỏi và mô hình | Đã cố định | Giữ nguyên, và ghi số phiên bản vào báo cáo | Không tốn thêm chi phí. Đổi bộ câu hỏi là đường lịch sử đứt ngay |
| Giữ thương hiệu đối chứng | Chưa có | Mỗi lần tối ưu đều đo kèm một thương hiệu không can thiệp | Tốn gấp đôi chi phí lấy mẫu, đổi lại phân biệt được “tôi sửa đúng” với “hôm nay may mắn” |
Trong ba việc, việc đầu dễ bị bỏ qua nhất vì nó tăng chi phí trực tiếp; nhưng nó là tiền đề duy nhất để chữ “tăng” có nghĩa. Việc thứ ba dễ bị bỏ sót nhất vì nó không tạo ra con số đẹp — mà nó lại chính là nền của mọi quy kết hiệu quả.
Ngược lại, nếu ngân sách chỉ đủ duy trì 80 mẫu như hiện tại, cách dùng đúng là: coi nó như phiếu khám sức khoẻ, không phải bảng điểm. Phiếu nói “khả năng đọc được bởi AI của bạn còn thấp, mất điểm ở các chiều này” là hữu ích; nói “bạn tăng 4% so với tháng trước” là không có bằng chứng.
Chín, bốn khuyến nghị sử dụng
Dành cho bên mua dịch vụ:
- Yêu cầu nhà cung cấp đưa nhiều lượt liên tiếp cùng một phương pháp, không phải hai con số rời rạc. Tối thiểu 3 lượt, có khoảng tin cậy và độ phân tán mới đạt.
- Đổi câu “tăng X%” thành “so với mức nền, khác biệt có vượt sai số lấy mẫu không”. Chỉ một câu hỏi này đã phân loại được chất lượng báo cáo.
- Hỏi rõ số mẫu mỗi lượt. Công cụ dưới 80 mẫu không nhìn được thay đổi trong 15,5 điểm, chỉ dùng được như nhiệt kế, không dùng được như cân.
Dành cho bên cung cấp dịch vụ (kể cả chúng tôi):
- Đưa kiểm định ý nghĩa vào sản phẩm, không chỉ vào lời nói. Một “mức tăng” không kèm z hoặc khoảng tin cậy thì chưa phải bằng chứng.
- Mỗi lần chỉ thay đổi một chiều, và luôn giữ một thương hiệu đối chứng không bị can thiệp. Không có đối chứng thì không phân biệt được “tôi sửa đúng” với “hôm nay dễ tính”.
- Đoán sai thì viết ra. Mục bốn của bài này là một giả thuyết thất bại — chúng tôi tưởng sẽ thấy mô hình trôi, dữ liệu nói không. Công bố thất bại đó rẻ hơn nhiều so với giấu đi.
Mười, phương pháp và giới hạn
| Hạng mục | Nội dung |
|---|---|
| Nói được | Với bộ câu hỏi và mô hình cố định, tỷ lệ được nhắc của một thương hiệu có dao động tự nhiên 12,6 điểm phần trăm, và dao động này giải thích trọn vẹn bằng ngẫu nhiên nhị thức của 80 mẫu mỗi lượt; một lần đo không đủ kết luận “tăng / giảm”; 80 mẫu chỉ phân biệt được khác biệt từ 15,5 điểm trở lên |
| Không nói được | Không ngoại suy sang thương hiệu khác (gần 0% hoặc gần 100% có hiệu ứng sàn / trần); không đại diện cho mô hình khác; không dự báo xu hướng dài hạn; lần này cũng không quan sát được trôi thêm từ mô hình, nhưng điều đó không có nghĩa mô hình không trôi — chỉ có nghĩa nó nhỏ hơn mức phân giải của cỡ mẫu này |
| Giới hạn mẫu | Chỉ 1 thương hiệu, 2 mô hình, 10 lượt, chia hai đợt (2 lượt sáng 24/10, 8 lượt đêm 25/10), tổng độ trải 37 giờ; bản thân ước lượng độ lệch chuẩn vẫn có khoảng tin cậy rộng |
| Mô hình sẽ thay đổi | Các hãng AI cập nhật mô hình và chiến lược truy xuất bất kỳ lúc nào, nên mức nhiễu nền cần đo lại định kỳ; các con số trong bài chỉ đúng cho khung thời gian này |
Chúng tôi đưa bộ kiểm định này vào chính sản phẩm: mỗi lần đo lại đều lưu số lần nhắc gốc và số mẫu, mọi cặp lần đo đều trả về giá trị z kèm kết luận (tăng có ý nghĩa / giảm có ý nghĩa / thay đổi nằm trong sai số lấy mẫu / không đổi so với lần trước). Chúng tôi thà nói với bạn “lần này chưa thấy thay đổi”, còn hơn đóng gói một con số đang rung thành thành tích.