Một tháng trước, chúng tôi mổ xẻ 4,2 triệu dòng log truy cập trong 12 ngày và công bố sáu phát hiện (báo cáo tháng 9). Kết luận gây sốc nhất khi đó: 83,9% yêu cầu tự khai là bot AI không thể xác minh danh tính — rất nhiều công cụ quét đổi User-Agent thành GPTBot hay ClaudeBot, vừa né được quy tắc chặn thô, vừa bị đếm nhầm thành «AI đang quan tâm đến chúng ta».
Sau bài đó, chúng tôi vẫn còn một câu hỏi chưa trả lời: nếu ngay cả «ai đã đến» cũng không nói rõ được, thì chuyện «AI có đọc chúng ta hay không» còn kiểm được bằng log nữa không? Vì vậy tháng này, cùng máy chủ, cùng bộ log nginx, cùng khung phán đoán — chỉ đổi cửa sổ thời gian — chúng tôi chạy lại.
Kết quả lần này khó nghe hơn, nhưng hữu ích hơn: trong cửa sổ này, 20,304 trên 22,463 yêu cầu tự khai là bot AI (90.4%) do chính công cụ kiểm toán của chúng tôi phát ra. Kẻ giả mạo không phải nguồn nhiễu lớn nhất — chính thiết bị đo của chúng tôi mới là. Sau khi loại phần tự gọi, bên ngoài tự khai 2,159 lượt, ba lớp xác minh cho qua 1,972 lượt (91.3%), bình quân 197 lượt/ngày — cao hơn 65.5% so với 119 lượt/ngày của tháng 9.
Một. Vì sao một tháng sau đã phải đo lại
Đo lại không phải để có thêm một bài viết, mà vì ba câu hỏi buộc phải trả lời:
- Hiện tượng «mạo danh» phát hiện tháng 9 còn hay không? Nếu còn, mọi báo cáo hiện diện AI dựa trên log đều không đáng tin; nếu giảm, là do kẻ tấn công rút lui hay chỉ đổi cách?
- Trang của chúng tôi đã thay đổi, phản ứng của AI có đổi? Một tháng qua, thư viện nội dung
/geo/tăng từ 51 lên 59 bài tiếng Trung, tiếng Việt cũng 59 bài, 27 báo cáo ngành đủ hai thứ tiếng, thêm một trang chuẩn mức cho 9 ngành. - Phương pháp tháng 9 có khuyết điểm? Khi đó chỉ dùng một lớp «phân giải ngược tên miền» — tháng này nâng lên ba lớp chính là để kiểm tra lớp đầu có bỏ sót hay không.
Câu trả lời ở ngay dưới. Kết luận trước: mạo danh chưa mất, nhưng không còn là nguồn sai số lớn nhất; phương pháp cũ đúng là có khuyết điểm, tháng 9 đã bỏ sót một nhà thu thập dữ liệu AI chăm chỉ nhất; và nhiễu lớn nhất đến từ chính chúng tôi.
Hai. Mẫu và phương pháp: ba lớp xác minh, chặt hơn tháng 9
Cửa sổ: 15-10-2026 → 25-10-2026 02:00 (GMT+8, 10 ngày), nguồn là toàn bộ log truy cập nginx trên máy chủ (9 tệp nén luân chuyển + log trực tiếp trong ngày), tổng 111,320 dòng. Sau khi loại 380 dòng health check và đầu dò nội bộ, còn 110,940 yêu cầu hợp lệ — lần này health check chỉ chiếm 0,3%, trong khi ở cửa sổ tháng 9 nó là thành phần nhiễu áp đảo (đây cũng là lý do không thể so trực tiếp tổng số của hai tháng: phải so «cùng một thứ sau khi loại nhiễu»).
Nhận diện danh tính bằng ba lớp, trúng bất kỳ lớp nào là «đã xác minh»:
| Lớp | Tiêu chí | Số trúng lần này | Bắt được gì / bỏ sót gì |
|---|---|---|---|
| Lớp A | Tên miền phân giải ngược thuộc tên miền của hãng (ví dụ crawl-66-249-66-76.googlebot.com, petalbot-114-119-145-66.petalsearch.com) | 1,274 lượt | Chắc nhất, nhưng hãng không đặt bản ghi PTR là cả lớp mất tác dụng |
| Lớp B | Dải IP đăng ký ARIN RDAP thuộc chính hãng (lần này tra tại chỗ: 216.73.216.0/22 đứng tên Anthropic, PBC) | 554 lượt | Bắt được «không có PTR nhưng dải IP là của họ» — đúng phần tháng 9 bỏ sót |
| Lớp C | Danh sách IP công bố của hãng (OpenAI: gptbot.json / searchbot.json / chatgpt-user.json, lấy tại chỗ: 18 / 39 / 234 dải) | 144 lượt | Chuẩn nhất, nhưng chỉ phủ những hãng chịu công bố dải IP |
187 lượt không trúng lớp nào được ghi là «không xác minh được» — lưu ý, không xác minh được không đồng nghĩa với mạo danh. Các loại như ChatGPT-User, Claude-User là «thu thập theo yêu cầu người dùng», hãng chưa từng công bố dải IP; tính chúng vào «mạo danh» cũng sai như tính vào «thật».
Ba. Phát hiện một: 90.4% «bot AI» do chính công cụ kiểm toán của chúng tôi phát ra
Đây là phát hiện quan trọng nhất của lần đo lại, và là phần tháng 9 hoàn toàn không nhìn thấy.
Trong cửa sổ, tổng yêu cầu tự khai là bot AI là 22,463 lượt. Tách theo IP nguồn: 20,304 lượt đến từ chính IP công khai của máy chủ — tức công cụ chấm điểm 0–100 mà chúng tôi chạy hằng ngày. Để biết «bot AI có đọc được trang này không», nó chủ động gửi yêu cầu với 6 User-Agent của 6 bot AI khác nhau, và mọi lượt của nó đều bị ghi vào log:
| Danh tính bị dùng (tự gọi) | Số yêu cầu | Ghi chú |
|---|---|---|
| GPTBot / OAI-SearchBot / PerplexityBot / Claude-SearchBot / Googlebot / Applebot | mỗi danh tính 3.384 lượt | 6 danh tính × 3.384 = 20,304 lượt, bình quân 2,030 lượt/ngày, tức mỗi ngày quét 166 trang hai vòng với 6 danh tính |
| Phân bố thư mục bị tự gọi | blog tiếng Trung 6.714 / blog tiếng Việt 6.576 / báo cáo ngành tiếng Trung 2.916 / tiếng Việt 2.916 / khu trang chủ 1.074 | Đầu dò quét đúng vào những trang chúng tôi muốn AI đọc nhất |
Một con số khác trên cùng máy chủ đóng đinh chuyện này: trong cửa sổ, /llms.txt nhận 3,524 lượt yêu cầu, trong đó 3.401 lượt từ chính công cụ kiểm toán (UA ghi GEO-Optimizer/2.0), 109 lượt từ máy phát hành nội dung, 10 lượt từ loopback, 3 lượt còn lại là công cụ quét lẻ. Bot AI thật chưa đọc nó một lần nào.
Vì sao phải viết ra: đây là lỗi thống kê dễ mắc nhất của cả ngành GEO, và người mắc không phải kẻ lừa đảo mà là người làm việc nghiêm túc. Chỉ cần bạn từng dùng một công cụ kiểm toán hiện diện AI, tự dựng đầu dò, hoặc nối site vào dịch vụ giám sát bên thứ ba, thì «số lượt bot AI» trong log sẽ bị chính thiết bị của bạn đẩy cao hơn một bậc độ lớn. Ngược lại, nếu một nhà cung cấp dịch vụ dùng «lượt bot AI tháng này tăng 300%» làm bằng chứng hiệu quả, câu đầu tiên bạn nên hỏi là: IP nguồn của những yêu cầu đó có phải công cụ của chính bạn không?
Bốn. Phát hiện hai: chỉ phân giải ngược sẽ bỏ sót nhà thu thập chăm nhất
Tháng 9 chúng tôi chỉ dùng lớp A (phân giải ngược). Tháng này nó vô hiệu ngay: ClaudeBot tự khai 557 lượt, phân giải ngược trúng 0 lượt.
Nếu dừng ở đây, kết luận sẽ là «ClaudeBot toàn là mạo danh» — ngược hoàn toàn sự thật. Chúng tôi tra ARIN RDAP cho IP nguồn: 216.73.216.0/22 đứng tên Anthropic, PBC (tên mạng AWS-ANTHROPIC, phủ 216.73.216.0–216.73.219.255). Dải này không đặt bản ghi PTR, nên phân giải ngược luôn rỗng. Sau khi bổ sung lớp B, 554 lượt của ClaudeBot được xác nhận là thu thập chính thức của Anthropic — và nó là bot bên ngoài đọc nội dung nhiều nhất trong cửa sổ này.
Kinh nghiệm này dùng lại được ngay: xác minh danh tính phải là «phân giải ngược + chủ sở hữu dải IP + danh sách công bố», chọn một trong ba; bất kỳ cách đơn lẻ nào cũng bỏ sót có hệ thống một hãng nào đó. Điều này có lẽ cũng giải thích một hiện tượng: trong báo cáo của không ít công cụ giám sát bên thứ ba, lượng thu thập của Claude quanh mức 0 còn của OpenAI rất cao — chưa chắc Claude không thu thập, mà do dải IP của họ không có PTR nên công cụ phân giải không ra và bỏ mất bản ghi.
Năm. Phát hiện ba: 1,972 lượt bot bên ngoài được xác minh, 8 danh tính thực sự đọc nội dung
Sau khi loại tự gọi, bên ngoài tự khai 2,159 lượt, ba lớp xác minh cho qua 1,972 lượt (91.3%). Chia theo nhóm: thu thập & huấn luyện AI 718 lượt, công cụ tìm kiếm 1019 lượt, công cụ SEO thương mại 235 lượt.
| Danh tính | Xác minh | Đường dẫn riêng | Nhóm | Quan sát lần này |
|---|---|---|---|---|
| ClaudeBot | 554 | 276 | Thu thập AI | Bot ngoài đọc nội dung nhiều nhất; một nửa động tác là đọc «cửa» (xem phần Sáu) |
| PetalBot | 453 | 196 | Chỉ mục tiếng Việt (Cốc Cốc) | Toàn bộ 200, nhưng chỉ đọc tin tức trang chính, không đọc thư viện /geo/ (xem phần Bảy) |
| Googlebot | 341 | 76 | Công cụ tìm kiếm | Cũng không đọc trang nội dung /geo/, tập trung ở thư viện thành phố và trang chính |
| SemrushBot | 235 | 190 | Công cụ SEO thương mại | Không phải AI, nhưng có quét trang /geo/ nên rất dễ bị đếm nhầm là «AI đã đến» |
| Bingbot | 135 | 83 | Công cụ tìm kiếm | Công cụ tìm kiếm duy nhất đọc trang /geo/ với tần suất cao (36 lượt) |
| Baiduspider / Sogou | 79 / 11 | 20 / 7 | Tìm kiếm tiếng Trung | Tập trung ở trang chính, khối lượng nhỏ |
| OAI-SearchBot / GPTBot | 71 / 57 | 10 / 47 | Thu thập AI | GPTBot ưu tiên diện rộng (47 đường dẫn), OAI-SearchBot tập trung ở cửa vào |
| ChatGPT-User | 16 | 7 | Thu thập tức thời | Trúng danh sách công bố, nghĩa là có người thật đã để ChatGPT đọc trang của chúng tôi tại chỗ |
| Bytespider | 20 | 4 | Huấn luyện AI | Số lượng nhỏ |
Bình quân 197 lượt bot được xác minh mỗi ngày, cùng cách tính với tháng 9 là 119 lượt (1.432 ÷ 12 ngày), một tháng tăng 65.5%. Không thể quy thẳng mức tăng này cho «nội dung của chúng tôi tốt hơn» — tháng 10 có thêm 8 bài, 9 báo cáo ngành và một loạt trang chuẩn mức, mẫu số vốn đã lớn hơn. Nhưng nó cho thấy một điều: nội dung cập nhật liên tục thì bot thật sự quay lại đọc nhiều hơn.
Sáu. Phát hiện bốn: bot AI có nhịp cố định, bài mới bị đọc trong 4 giờ
Bốn bài mới nhất đều bị ClaudeBot đọc ngay trong ngày phát hành, độ trễ nằm trong 3.59–4.87 giờ, trung vị 4.06 giờ, trung bình 4.14 giờ:
| Bài viết | Ngày đăng | Lần đọc đầu | Độ trễ | Bot |
|---|---|---|---|---|
geo-self-audit-166-pages-ledger-2026-10 | 2026-10-18 | 18/Oct 03:44 | 3.74 giờ | ClaudeBot |
ai-search-citation-rules-shift-2026-q4 | 2026-10-20 | 20/Oct 04:22 | 4.38 giờ | ClaudeBot |
vietnam-insurance-ai-readiness-audit-2026-10 | 2026-10-22 | 22/Oct 03:35 | 3.59 giờ | ClaudeBot |
vietnam-ai-readiness-9-sector-benchmark-2026-10 | 2026-10-24 | 24/Oct 04:52 | 4.87 giờ | ClaudeBot |
Đáng chú ý hơn là tính quy luật của thời điểm: cả bốn lần đọc đầu đều rơi vào 03:35–04:52 sáng, còn các lần đọc tiếp theo của GPTBot đều rơi vào 08:54–09:18 sáng. Báo cáo tháng 9 có trung vị 4,1 giờ — lần đo lại độc lập này cho 4,06 giờ, hai cửa sổ khác nhau gần như trùng nhau, cho thấy đây không phải ngẫu nhiên mà là nhịp cố định của bot thu thập AI.
Về vận hành, điều này nghĩa là một động tác rất cụ thể: thời điểm phát hành phải khớp với cửa sổ thu thập. Chúng tôi đăng quanh 0 giờ và bị đọc trước 4 giờ; nếu cùng bài đó lên lúc 4 giờ chiều, phải chờ thêm một chu kỳ, trong khi «trọng số độ mới» của AI thường chỉ cho một cơ hội. Ngoài ra, đừng đổi cấu trúc trang trong 6 giờ sau khi đăng — mấy phút bạn sửa có thể đúng là mấy phút bot đang đọc.
Bảy. Phát hiện năm: công cụ tìm kiếm đọc trang chính, bot AI đọc thư viện nội dung
Khác biệt phân bố này là phát hiện thực dụng nhất, vì nó quyết định nguồn lực nên đổ vào đâu:
| Bot | Tổng lượt xác minh | Trong đó trang nội dung /geo/ | Chủ yếu đọc gì |
|---|---|---|---|
| Googlebot | 341 | 0 | Thư viện thành phố (/vietnam/…), tin tức trang chính, trang chủ |
| PetalBot (Cốc Cốc) | 453 | 0 | /article/*.html tin kinh tế Việt Nam, services, cases |
| Bingbot | 135 | 36 | sitemap 25 lượt + blog và báo cáo ngành trong /geo/ |
| ClaudeBot | 554 | 80 | Đọc robots + sitemap trước, rồi đọc blog và báo cáo ngành /geo/ |
Có ba tầng ý nghĩa:
- Thư viện GEO của chúng tôi gần như «vô hình» với tìm kiếm truyền thống. Trong 10 ngày, Googlebot và PetalBot (chỉ mục Việt Nam) không đọc một trang nội dung nào dưới /geo/; 341 lượt của Googlebot có 316 lượt dành cho thư viện thành phố và trang chính.
- Nhưng với bot AI thì khác. ClaudeBot đọc 80 lượt trang nội dung, Bingbot 36 lượt — bot AI đọc thứ chúng tôi vừa viết sớm hơn bot tìm kiếm. Đây chính là bằng chứng trực tiếp nhất cho nghề GEO: nội dung mới chưa có hạng trong tìm kiếm nhưng đã vào kho dữ liệu của AI.
- Về dài hạn đây là rủi ro. Không được công cụ tìm kiếm lập chỉ mục thì không có hiển thị thương hiệu lẫn lưu lượng tự nhiên, và trích dẫn của AI cũng thiếu một nguồn đối chứng. Việc tiếp theo là dẫn trọng số từ /article và thư viện thành phố vào /geo/: chèn liên kết báo cáo liên quan ở chân trang tin tức, gắn báo cáo ngành tương ứng ở mục ngành của trang thành phố — đây thuần là kỹ thuật liên kết nội bộ, không cần nội dung mới.
Nhân đây chốt luôn sổ llms.txt: một tháng nó nhận 3,524 lượt yêu cầu, bot AI thật: 0 lượt. Hiện tại nó là «cánh cửa để dành cho tương lai» — đáng cấu hình, đáng ghi trong tài liệu phương pháp, nhưng không được dùng làm bằng chứng «AI đang đọc chúng ta». Ai biến llms.txt thành điểm bán cốt lõi thì đang bán một sự thật chưa xảy ra.
Tám. Phát hiện sáu: luân chuyển danh tính quy mô lớn đã biến mất, mạo danh thì chưa
Con số kịch tính nhất tháng 9 là «5 IP, mỗi IP dùng 12–13 danh tính bot AI». Tháng này chỉ còn 1: 34.40.11.197 (phân giải ngược …googleusercontent.com, tức một tenant trên Google Cloud), một IP luân chuyển 8 danh tính (Baiduspider, Bytespider, CCBot, ClaudeBot, GPTBot, Googlebot, OAI-SearchBot, meta-externalagent) với 14 lượt.
Nhưng không được kết luận «mạo danh đã giảm», vì ba lý do:
- Cửa sổ lần này 10 ngày, tháng 9 là 12 ngày — mẫu khác nhau;
- Nhóm IP của kẻ mạo danh vốn thay đổi rất nhanh, không bắt được trong một cửa sổ không có nghĩa là không tồn tại;
- Tín hiệu ổn định thật sự là sự tồn tại của mạo danh, và nó vẫn còn: 40 lượt «Googlebot» không nằm trong dải của Google; 74 lượt «AhrefsBot», 33 lượt «meta-externalagent», 28 lượt «Bytespider» không qua được lớp nào.
Vì vậy cách diễn đạt đối ngoại phải là: «mạo danh vẫn tồn tại, chỉ là cửa sổ này không có luân chuyển quy mô lớn» — chứ không phải «vấn đề mạo danh đã được giải quyết». Hai cách nói này khác nhau một bậc về độ tin cậy trong báo cáo.
Chín. Áp vào GEO: ba kết luận dùng được ngay
① Loại tự gọi trước, rồi mới nói KPI. Bất kỳ chỉ số «lượt bot AI» nào cũng phải bắt đầu bằng việc loại đầu dò tự dựng, công cụ kiểm toán, node giám sát theo danh sách IP nguồn. Nếu lần này không loại, con số sẽ bị đẩy cao 10,4 lần (22,463 so với 2,159). Ba chỉ số nên dùng thay thế: số đường dẫn riêng của bot được xác minh (độ phủ), trung vị độ trễ đọc lần đầu của bài mới (khả năng được phát hiện), tỷ lệ trúng robots/sitemap (sức khỏe cửa vào). Ba chỉ số này khó bị làm nhiễu.
② Thứ tự ưu tiên cửa vào: sitemap và robots trước, llms.txt sau. Thực đo: một cửa sổ ClaudeBot đọc 138 lượt robots.txt + 138 lượt sitemap.xml, chiếm 49.8% toàn bộ động tác của nó; Bingbot đọc sitemap 25 lượt; còn llms.txt có 0 lượt bot thật. Đổ ngân sách vào tính đầy đủ của sitemap, khai báo rõ ràng cho bot AI trong robots, và dữ liệu có cấu trúc (JSON-LD) sẽ có lợi tức ngay.
③ Thời điểm đăng khớp nhịp thu thập. Đăng lúc nửa đêm, bị đọc trong 4 giờ là quy luật được tái lập bốn lần; cộng với «không đổi cấu trúc trong 6 giờ sau khi đăng», tức là biến lần đọc đầu tiên của nội dung mới thành sự kiện chắc chắn thay vì may mắn.
Cuối cùng, nói về chính bộ dữ liệu này: gần như toàn bộ là những con số «không đẹp» — 90,4% nhiễu đến từ chính mình, llms.txt đến nay không ai đọc, công cụ tìm kiếm chưa lập chỉ mục thư viện nội dung của chúng tôi. Nhưng ba điều đó chính là thứ không thấy trong báo cáo của người khác, vì muốn thấy thì phải đưa cả thiết bị đo của mình lên bàn cân. Chỉ phương pháp có thể tự phản bác chính nó mới đáng để khách hàng mang đi dùng.