Loading...
Loading...
生成带爬虫规则和 sitemap 网址的 robots.txt。
放在站点根目录的 robots.txt 告诉搜索引擎和其他爬虫哪些部分可以访问、哪些不可以。语法不多,但很容易出微妙的错。这个工具用简单的字段和几个预设生成有效的文件。
为每个 user-agent 加一个分组,列出要 disallow 的路径和要 allow 的例外,可选设 crawl-delay,再加上你的 sitemap 网址。一键预设覆盖常见情况:全部允许、屏蔽常见私有路径、屏蔽 GPTBot 和 CCBot 等主流 AI 爬虫,或完全禁止所有机器人。输出实时更新,遵循爬虫预期的规则,空的 Disallow 表示完全放行。复制它,或下载可直接上传的 robots.txt。一切都在浏览器里运行。
为不同爬虫设置不同规则。
列出被挡路径,并开出例外。
一键屏蔽 GPTBot、CCBot、Google-Extended 等。
向文件添加一个或多个 sitemap 网址。
可选限制爬虫访问你站点的频率。
拿走文本,或可直接上传的 robots.txt 文件。
robots.txt 控制的是抓取,不是收录。要让页面不出现在搜索结果里,用 noindex meta 标签,因为被 disallow 的页面若被别处链接仍可能被收录。
选一个预设,或从默认分组开始。
设置 user-agent 及其 disallow 和 allow 路径。
加上你的 sitemap 网址。
复制或下载,放到你的站点根目录。
把爬虫挡在后台、购物车或预发布路径之外。
一键拒绝主流 AI 爬虫。
告诉搜索引擎你的 sitemap 在哪。
第一天就配好合理的 robots.txt。
每个分组输出一行 User-agent,后接它的 Allow 和 Disallow 路径以及可选的 Crawl-delay;当分组什么都不挡时写一个空 Disallow;sitemap 网址作为 Sitemap 行追加。
无账号、无网络请求;文件在你的浏览器本地生成。
输出只是一小段字符串,每次改动重建,所以即时更新。