llms.txt文档索引生成器

给AI看的sitemap：llms.txt把站点内容整理成模型能直接吃下的结构化清单，llms-full.txt则把整站正文压成一个Markdown文件一次喂进去，再配合文档MCP服务器让AI实时检索你的一手内容

工具界面

交互式工具即将上线

功能特点

✓ AI专用索引：llms.txt的定位如同给搜索引擎的sitemap，帮大模型高效理解文档结构与定位相关内容
✓ 一次喂满上下文：llms-full.txt把整站文本编译成单个Markdown文件，贴一个链接就能把全量文档装进AI工具
✓ 零维护：主流文档平台会自动生成并托管llms.txt，始终与站点同步，无需人工在每次发版后更新
✓ 文档即MCP服务：可从文档自动生成检索型MCP服务器，让Claude、Cursor、Goose、ChatGPT等客户端实时检索甚至代为调用接口
✓ 可被发现：通过Link响应头与X-Llms-Txt等约定对外声明llms.txt、API目录、MCP服务卡与智能体卡，让AI生态自动找到你

使用步骤

先确认你要给AI的是哪一层内容：只需要页面清单就上llms.txt，需要模型一次读完全量正文才上llms-full.txt
接入自动生成：若用现代文档平台，打开对应开关即可自动生成并托管；自建站点则按llms.txt标准写Markdown清单并放到根路径
打通实时检索：为文档生成检索型MCP服务器，把工具暴露给团队常用的AI客户端，让回答直接基于你最新的文档而不是训练数据
进监控与迭代：检查抓取日志确认AI真的在用，留意索引体积上限，站点变大后改用分层索引，避免页面被静默漏掉

常见问题

llms.txt是什么？为什么要单独做一份？

llms.txt是一项行业标准，作用是帮大模型更高效地索引站点内容，官方文档给的类比是「类似sitemap帮搜索引擎做的事」。因为模型的抓取与上下文预算有限，让它在HTML、脚本与广告里自己找重点效率很低，一份结构化清单能直接告诉它有哪些页面。参考 https://www.mintlify.com/docs/ai/llmstxt 与 https://www.mintlify.com/blog/what-is-llms-txt

llms.txt和llms-full.txt该怎么选？

两者用途不同。llms.txt是站点索引，像一份给AI看的目录，帮它发现并定位页面；llms-full.txt则是把整站文本编译成一个Markdown文件，官方描述为「让你贴一个链接就把全部上下文一次加载进ChatGPT或Claude这类工具」。按官网说法，llms-full.txt由Mintlify与Anthropic合作开发，并已成为llms.txt官方提案的一部分。小站可以直接上全量文件，大站建议先索引再按需取全文。参考 https://www.mintlify.com/docs/ai/llmstxt

这东西真的会被AI抓取使用吗？

要分开看：是否被使用取决于各家AI产品的抓取策略，不由你单方面决定，因此别把它当SEO保证。但它的另一面是确定收益——接入文档MCP服务器后，Claude、Cursor、Goose、ChatGPT等MCP客户端可以实时检索并调用你的一手文档，这条路径上AI是否用得到完全由你与客户端的连接决定。官方说明见 https://www.mintlify.com/docs/ai/model-context-protocol

站点很大时llms.txt会不会装不下？

会，而且这是真实踩过的坑。官方工程博客披露，大型文档站曾触到十万字符的llms.txt上限并因此漏掉页面，团队随后把生成逻辑重建为分层文件结构，让智能体能抵达每一页而不必加载整个索引。所以站点规模上来后，要么分层，要么在索引里只保留关键入口。参考 https://www.mintlify.com/blog/what-is-llms-txt

和传统SEO重复吗？

不重复，目标读者不同。传统SEO优化的是搜索引擎的抓取与排序，面向人看到的搜索结果页；llms.txt与文档MCP服务面向的是AI智能体，让它在回答用户问题时能引用你准确的、最新的内容，而不是凭训练语料猜。两者共用同一份内容资产，但交付格式与访问路径不一样。定义与实现见 https://www.mintlify.com/docs/ai/llmstxt 与 https://www.mintlify.com/docs/ai/model-context-protocol