什么是Robots.txt 生成器？
免费在线 Robots.txt 生成工具，可视化配置搜索引擎爬取规则。支持允许/禁止目录、Sitemap 声明、爬虫 User-Agent 设置。网站 SEO 优化的第一步，帮助引导搜索引擎正确抓取您的网站。
使用场景
- ◆新网站 SEO
- ◆爬虫管理
- ◆隐私页面保护
- ◆Sitemap 声明
如何使用？
- 1选择要禁止爬取的目录
- 2设置允许的爬虫
- 3添加 Sitemap 链接
- 4生成并复制 Robots.txt
功能特点
- ✓可视化配置
- ✓多爬虫支持
- ✓Sitemap 集成
- ✓免费
常见问题
Robots.txt 能防止页面被索引吗？
不能。Robots.txt 只指导爬虫不要抓取，但不阻止索引。需要页面加 noindex 标签才能真正防止索引。
Sitemap 必须写在 Robots.txt 中吗？
不是必须的，但这是一个好习惯，帮助搜索引擎发现您的 Sitemap。
Robots.txt 能阻止索引吗？
不能。Robots.txt 只指导爬虫不抓取，但不阻止索引。需要使用 noindex meta 标签来阻止索引。
应该添加 Sitemap 指令吗？
应该。添加 Sitemap: https://yoursite.com/sitemap.xml 帮助搜索引擎更快发现您的站点地图。
默认的 User-Agent 是什么？
规则默认适用于所有爬虫（*）。可以为 Googlebot、Bingbot 等添加特定规则。
Robots.txt 能阻止所有机器人吗？
只有守规矩的爬虫遵守 robots.txt。恶意机器人可能完全忽略它。