浏览器内免费工具
Robots.txt 测试器
在浏览器中测试 robots.txt 规则、爬虫访问和 URL 路径。
在浏览器本地运行，不会上传内容。
测试爬虫路径
修改文件、爬虫或路径即可重新计算结果。
爬虫决定
输入时结果会显示在这里。
常见问题
在浏览器中测试 robots.txt 规则、爬虫访问和 URL 路径。
常见问题
robots.txt 如何选择规则？
先选择最具体的 user-agent 组，再使用最长的匹配路径。长度相同时 Allow 优先。
Disallow 会从 Google 删除页面吗？
不会。它阻止抓取，但不一定阻止收录。若要排除页面，请使用 noindex。
* 和 $ 是什么意思？
星号匹配任意字符序列，美元符号将模式固定到 URL 末尾。
我的 robots.txt 会被上传吗？
不会，所有分析都在浏览器中完成。