把「llms.txt 已配置」写进验收单,是这半年最常见的一种自欺。文件确实建了,浏览器打开也有字,状态码 200。三个月后去问 ChatGPT,它照样不认识这家公司——因为那个 200 可能压根不是你的文件,而是站点对任何路径都返回的同一页。
我们用同一把尺子(六项 100 分)在新加坡节点上量了 40 个越南头部站点的首页与根文件:26 家能评分,均分 42.73;真 llms.txt 只有 2 份;而如果只看状态码,会数出 6 家「有」llms-full.txt,实际 0 家。
状态码是服务器的回答,不是内容的证明。「200 = 有」这条捷径,在 AI 时代会让验收单、监测报表和客户汇报同时失真。
一、六个数字先摆出来
对照组是我们自己:同一把尺子下,yuezhitong.com 的 GEO 文章页是 98/100。这个数字不是拿来炫耀的,而是用来证明这把尺子不是「谁都不可能及格」的假标准——同一套判据,越南头部企业 42.73,我们 98。分差集中在「AI 发现端点」这一项:满分 20,样本均分 2.92。(说明:本页页脚徽章上的 88/100 来自我们的 8 维诊断引擎,与本文这套六项尺子口径不同,两者不可互比——所有对照只在同一把尺子内成立。)
二、200 只能证明服务器回话了
HTTP 状态码回答的是「这个请求有没有被处理」,不是「你要的东西在不在」。当未匹配的路径被交给前端路由、交给 301、或者交给 WAF 的挑战页,三种情况都会返回 200。
形态一:前端路由兜底(SPA fallback)
我们对同一域名用两条不同的随机路径各请求一次,两次结果的字节数完全一致:
| 域名 | 随机路径返回 | 字节数 | 说明 |
|---|---|---|---|
| winmart.vn | 200 | 15,893 | 两次路径不同,字节数一模一样 |
| shopee.vn | 200 | 161,625 | 返回的是应用外壳 |
| thienlong.com | 200 | 5,760 | 返回的是应用外壳 |
字节数一致是判据的关键:真实内容页不可能对两个随机路径返回同样长度的 HTML。这意味着你请求 /llms.txt 拿到 200 时,你手里的可能只是首页的副本。
形态二:301/302 回首页
nguyenkim.com 对任意路径先跳到 https://www.nguyenkim.com/,最终状态 200;hust.edu.vn 跳到 /vi/page/。客户端跟随重定向后确实拿到 200,但落地页是首页——不是你要的文件。
形态三:反爬挑战页也返 200
masan.com 对任意路径返回约 2,986 字节的页面,<html> 标签里带 data-adblockkey=…,正文 72 个字符,标题写着「This website is for…」。它既不是 404,也不是内容页,是反爬组件在跟客户端打招呼。这一类最容易被误判成「站点正常」。
复跑只要两行,判据是状态码 + 内容类型 + 字节数三个一起看,缺一个都会误判:
for p in /a-$(date +%s).html /b-$(date +%s%N).html; do curl -s -o /dev/null -w "%{http_code} %{content_type} %{size_download}\n" "https://example.vn$p"; done
更隐蔽的一种:llms-full.txt 的 6 个 200
llms-full.txt 是给 AI 的「整本手册」。样本里状态码 200 的有 6 家,逐一看内容,真文件 0 份:
| 域名 | 状态 | 内容类型 | 字节 | 实际返回的是什么 |
|---|---|---|---|---|
| nguyenkim.com | 200 | text/html | 246,317 | 首页全文 |
| shopee.vn | 200 | text/html | 161,625 | 应用外壳 |
| lazada.vn | 200 | text/html | 82,681 | 首页 HTML |
| winmart.vn | 200 | text/html | 15,861 | 应用外壳 |
| thienlong.com | 200 | text/html | 5,760 | 应用外壳 |
| masan.com | 200 | text/html | 3,011 | 反爬挑战页 |
对照组:ghtk.vn、tiki.vn、cellphones.com.vn 都正确返回 404;我们自己的 /llms-full.txt 返回 200 + text/plain + 66,492 字节的真实文本。
如果验收单上写的是「状态码 200 即为已配置」,这份样本会报出 6 家合格,假阳性 100%。这类错误不会当场暴露——它会在三个月后的一次问询里,以「AI 就是不提我们」的形式出现。
三、六项判据:100 分是怎么来的
| 项 | 满分 | 看什么 | 典型假阳性 |
|---|---|---|---|
| 可得与安全 | 15 | HTTPS 可握手、根路径 200、首字节 <8 秒 | 挑战页 200 被当成可达 |
| AI 发现端点 | 20 | llms.txt 真文件 12 + llms-full.txt 4 + sitemap 可解析 4 | 软 200 冒充文件存在 |
| 结构化数据 | 25 | JSON-LD 存在 10 + Organization 家族类型 8 + name/url/logo/sameAs 齐全 7 | 只放 WebSite,不放 Organization |
| 爬虫礼遇 | 15 | robots.txt 可读 5 + 点名至少一个 AI 爬虫 10 | 只写 User-agent: * |
| 内容可抽取 | 15 | 可见正文 ≥1,500 字符 6 + h1 唯一 4 + ≥8 个段落 3 + 正文占比 ≥15% 2 | 正文全靠 JS 渲染 |
| 多语言 | 10 | hreflang ≥1 条 4 + 含 en/vi 3 + html lang 声明 3 | hreflang 只指向自己 |
这套判据不评价「网站好不好看」,它只问一件事:一个不执行 JS、不带 Cookie、只看原始 HTML 的抓取器,能不能从这里读出你是谁、做什么、哪里可信。GPTBot、ClaudeBot、CCBot 这一层抓取器基本就是这么工作的——它们不保证帮你渲染前端。
四、样本与方法
- 样本:40 个越南域名,10 个行业——银行 5、零售连锁 7、电商 4、物流 4、航空旅游 3、制造/FMCG 4、房地产 4、科技电信 4、医药连锁 3、高校 2。
- 节点:新加坡阿里云轻量(不用大陆节点——大陆出口的抖动会被误记成对方站点的问题)。
- 时点:2026-11-14 单时点。每个域名取首页 1 次 + 根文件 5 个(llms.txt、llms-full.txt、sitemap.xml、robots.txt、随机路径 2 次)。
- 方式:GET,不执行 JS,不带 Cookie,不重复采样,统一桌面浏览器 UA。
- 口径:403、超时、连接重置、TLS 握手失败一律记「无法评分」,不给 0 分。把「我进不去」写成「它 0 分」是这类报告里最常见的伪精度。
五、结果
| 行业 | 可评分 / 样本 | 均分 | 最高 |
|---|---|---|---|
| 房地产 | 2 / 4 | 54.0 | 65 |
| 零售连锁 | 3 / 7 | 49.7 | 61 |
| 物流快递 | 4 / 4 | 47.0 | 65 |
| 电商平台 | 3 / 4 | 46.7 | 61 |
| 医药连锁 | 1 / 3 | 46.0 | 46 |
| 高校 | 2 / 2 | 45.0 | 51 |
| 制造 / FMCG | 1 / 4 | 39.0 | 39 |
| 科技电信 | 3 / 4 | 38.0 | 61 |
| 银行 / 金融 | 5 / 5 | 36.2 | 56 |
| 航空旅游 | 2 / 3 | 28.0 | 33 |
分布:低于 30 分 6 家、30–49 分 10 家、50–64 分 7 家、65 分及以上 3 家。中位数 39,最高 65(hungthinh.com.vn、ghtk.vn、ghn.vn 三家并列),最低 20(mbbank.com.vn、shopee.vn、viettel.com.vn、viettelpost.com.vn 四家并列)。最高分 65,没有一家达到 70。按这套判据,越南头部站点的平均分是 42.73。
六、六个发现
1. 门口全通,名片几乎没人印。可评分站点在「可得与安全」一项拿了 100%,在「AI 发现端点」一项只有 14.6%。也就是说:AI 爬虫进得来,但进来之后几乎没人告诉它「我是谁、我有哪些页面、我的手册在哪」。这是投入产出比最高的一段路——不需要重构网站。
2. 26 家里有 8 家,首页 HTML 里几乎没有可读正文(30.8%)。vpbank.com.vn 首屏 HTML 正文 172 个字符、winmart.vn 41 个、vietjetair.com 53 个;mbbank.com.vn、shopee.vn、viettelpost.com.vn、thienlong.com、viettel.com.vn 是 0 个。对这些站点,不执行 JS 的抓取器看到的是一张白纸。它们的「内容」只存在于浏览器里,而 AI 不一定帮你打开浏览器。
3. robots.txt 点名 AI 爬虫的只有 4 家(10%)。nguyenkim.com、lazada.vn、pharmacity.vn、ankhang.vn。其中 nguyenkim、pharmacity、ankhang 三家用的是同一份 9 个机器人的名单(GPTBot、ClaudeBot、anthropic-ai、Claude-Web、CCBot、Bytespider、Google-Extended、Applebot-Extended、Meta-ExternalAgent),措辞与顺序完全一致——这说明它已经是建站/代运营服务商的标准件,可以直接采购,不必自己研究。
4. 真 llms.txt 只有两份,且各有各的毛病。lazada.vn 的 3,661 字节,越南语写成,讲促销体系与品类入口,是这批里最像「给 AI 看的说明书」的一份;thienlong.com 的 735 字节是从 sitemap 自动生成的,里面混进了 /cart、/checkout、/orderconfirmation 这类不该引导的路径——方向对,内容没校对。
5. 结构化数据 9/26(34.6%),但四字段齐全的只有 1 家。多数站点放了 WebSite 和 BreadcrumbList,却没放 Organization;放了 Organization 的,又普遍缺 sameAs(指向维基数据、LinkedIn、Facebook 的同一实体链接)。sameAs 是「这三个账号是同一个人」的唯一机器凭据,缺了它,AI 只能各算一个实体。
6. 银行是「最可达、最不会说话」的一组。5 家银行首页全部 200,均分 36.2,是十个行业里最低;mbbank.com.vn 与 shopee.vn、viettel.com.vn、viettelpost.com.vn 并列 20 分垫底。金融机构的 WAF 越严,越容易把 AI 爬虫一起挡在门外——样本里另有 5 家直接 403(Cloudflare 的「Just a moment…」与「Attention Required!」页),它们连评分机会都没有。
七、「不完整」也是进步
thienlong.com 那份 735 字节的 llms.txt 值得单独说一句:它是自动生成的,混进了购物车路径,谈不上精致。但它做对了一件关键的事——给了 AI 一个不依赖 JS 的入口。相比之下,那 6 家返回 200 却是 HTML 壳的站点,连入口都还没造出来。
最小可用的 llms.txt 不需要工具,十分钟能写完,只要五块信息:
# 公司名(域名)
## 一句话说明:做什么、给谁做、在哪个市场
## 核心页面:/about /products /pricing /contact(各一行说明)
## 事实口径:成立年份、规模、认证、可核验的第三方资质
## 更新日期:2026-11(AI 会拿它判断新鲜度)
注意两件事:一是不要放 /cart、/checkout、/login 这类对 AI 无意义的路径;二是发布后用 curl 回读一次,确认返回的是 text/plain 而不是 text/html——本文第二、三节的所有假阳性,都栽在这一步没做。
八、90 天清单
1先消假 200(第 1 天,30 分钟)。对三个不存在的路径各请求一次,确认站点返回 404 而不是 200。如果返回 200,先修路由兜底/挑战页策略,否则后面所有「已配置」都不可信。
2造一份真 llms.txt(第 1 周)。按上一节的五块写,≤60 行,发布后 curl -I 确认 Content-Type: text/plain 与字节数。
3补 Organization JSON-LD(第 2–3 周)。四字段 name / url / logo / sameAs 齐全;sameAs 里放维基数据、LinkedIn、Facebook、YouTube 的同一实体的官方链接。
4robots.txt 点名 AI 爬虫(第 4 周)。至少点名 GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended、CCBot,并对 CDN/WAF 做一次真机验证——样本里 5 家 403 就是教训:robots.txt 允许不等于真的放行。
5让内容在原始 HTML 里成立(第 2–3 个月)。关键页面(关于、产品、价格、案例)做服务端渲染或预渲染;hreflang 与 html lang 对齐。验收判据只有一条:关掉 JS,页面上还有没有可读的正文。
九、结论
GEO 这条链的顺序是:抓得到 → 读得懂 → 认得出 → 信得过 → 被引用。这 40 个站点的实测分布是:第一步 100%,第二步 46.7%,第三步 31.4%,第四步 14.6%。绝大多数预算花在第五步的内容与投放上,而前三步的门票还没买。
外部环境也不会等人:Gartner 预测 2026 年传统搜索量下降 25%(2024-02);Bain 的调查里 80% 的消费者至少有 40% 的搜索依赖 AI 结果;艾媒咨询给出的中国 GEO 市场是 2025 年 349.3 亿元、2026 年预计 942 亿元(2026-02);越南这边,Technode 2025-08 的测算是 ChatGPT 覆盖率达到 81%。买家用 AI 找供应商这件事已经发生,问题只剩一个:轮到你被找到时,AI 手里有没有关于你的、可核验的材料。
被 AI 理解,即是被世界看见。而「被理解」的第一步,不是写更多内容,是先把那张 200 的假门票换成真的。