robots.txt 生成器

按 User-agent、Allow、Disallow、Crawl-delay 与 Sitemap 规则生成 robots.txt 文件。可添加多组规则,分别针对不同爬虫;路径按输入顺序输出。生成结果全部在浏览器本地完成,不发起任何网络请求。

规则配置 等待输入

每个路径一行;Allow 与 Disallow 分别填写,输出时先 Allow 后 Disallow,均按填写顺序。空行会被忽略。

生成的 robots.txt
规则组数—
路径条数—
Sitemap 数—
填写规则后点击「生成 robots.txt」,内容将显示在这里。

robots.txt 需放在网站根目录,且可通过 https://你的域名/robots.txt 直接访问。

生成规则
  • robots.txt 语法由「机器人排除协议」定义,现行标准为 RFC 9309。
  • 每组以 User-agent 开头,其后是该组的 Allow 与 Disallow 规则。
  • 同一组的输出顺序为 User-agent → Allow/Disallow → Crawl-delay。
  • 路径需以 / 开头或留空,支持 * 通配符与 $ 结尾符。
  • Crawl-delay 表示两次抓取之间的秒数,填写才输出。
  • Sitemap 条目统一放在文件末尾,与其他规则之间空一行。
  • 该文件为建议性协议,遵守与否取决于爬虫自身,不能作为访问控制手段。