很多站点的技术指标其实不差——速度、移动端、HTTPS 都过了——但在 AI 搜索时代依然"隐形"。原因很直接：传统搜索引擎爬虫和大模型爬虫是两套 UA、两套抓取逻辑，你按 SEO 做的配置，AI 爬虫未必买账。

上周帮朋友的 B2B 站点做了一次排查，四项配置全缺。补齐后第三天，日志里开始出现 Bytespider 的规律抓取记录。下面把这四项配置的实现直接贴出来，能照抄的都照抄。

一、robots.txt：别把 AI 爬虫挡在门外

多数站点的 robots.txt 是给搜索引擎写的，AI 爬虫的 UA 根本没考虑过。主流的大模型爬虫至少包括：

• GPTBot（OpenAI）

• Bytespider（字节/豆包）

• ClaudeBot（Anthropic）

• PerplexityBot（Perplexity）

• cc-bots 系（Common Crawl，多个模型的语料来源）

一个可以直接用的白名单版本：

三个常见坑：

1. 有些安全插件或 CDN（尤其 Cloudflare 的 Bot Fight Mode）默认拦截非主流 UA，robots.txt 写得再开放也没用，要在 CDN 层放行；

1. 反过来，如果你的内容不想被某些模型训练，也可以单独 Disallow 特定 UA——这是你的权利，但要想清楚：不让抓，就永远不会被引用；

1. 改完 robots.txt 用 curl -A "GPTBot" https://yourdomain.com/ 验证返回 200 而不是 403。

二、sitemap.xml：给爬虫一份干净的索引

WordPress 用户直接开内置 sitemap（/wp-sitemap.xml）就够用，注意三点：

• 确保所有想被引用的页面都在里面，草稿和 noindex 页面不该出现；

• 页面数量变了就重新提交，不要指望爬虫自己发现；

• 大型站点按栏目拆分 sitemap index，单个文件别超 5 万条。

提交入口：百度搜索资源平台、头条搜索站长平台、必应站长工具，三处都验证站点后提交。必应那边的收录速度明显更快，值得先做。

三、llms.txt：一份专门给大模型的站点导读

这是最近一年出现的新约定：在根目录放一个 llms.txt，用 Markdown 简述站点结构，把最值得被引用的页面直接列出来。示例如下：

写法上的建议：控制在 20 个页面以内，只列"希望被 AI 引用时拿去当出处"的页面；每条后面那句话写结论，不要写"点击查看详情"这种废话——模型可能只读这一行。

四、结构化数据：把"这是谁"直接喂给模型

JSON-LD 是成本最低、收益最确定的一项。首页放 Organization：

问答类页面加 FAQPage，把每条问题和答案首句标进去。验证用 Google 的 Rich Results Test 或 schema.org 官方 validator，改一次验一次。

sameAs 字段值得多说一句：它把官网和你在各平台的官方账号声明为同一实体。多个平台的信息能不能归拢到同一个主体上，是模型判断"这家公司是否真实一致"的重要信号。

验证与监测

四项做完，验证顺序建议是：

1. curl -A "GPTBot" 等多个 UA 逐个测试，确认全部 200；

1. 三个站长平台跑一次抓取诊断；

1. 一到两周后看服务器日志，确认 AI 爬虫的抓取频率在上升；

1. 用固定问题在主流 AI 工具里实测，记录引用来源有没有变化。

技术配置的作用是"把门打开"，门打开之后能不能被引用，取决于内容本身的结构和质量——那是另一套工程，先有门，再谈屋里放什么。