Robots.txt 测试工具
粘贴您的 robots.txt 并测试任何 URL 与任何爬虫的匹配情况，以查看哪些是允许的。
Robots.txt 测试工具功能
在部署之前验证您的爬虫规则。
规则匹配
准确显示哪个规则匹配，以及是允许还是拒绝。
用户代理支持
Test against specific crawlers like Googlebot or the wildcard *.
列出所有规则
一目了然地显示所选用户代理的所有适用规则。
关于 Robots.txt 测试工具
该工具允许您粘贴任何 robots.txt 文件，并测试其在特定爬虫和 URL 路径下的行为。它解析规则，找到最具体的匹配，并告诉您访问是被允许还是拒绝。
常见问题
这个工具是免费使用的吗？
是的，这个工具完全免费。
不需要账户或注册。
您可以随意使用它。
我的数据是私密的吗？
所有处理都在您的浏览器中进行。
您的 robots.txt 内容从未发送到任何服务器。
我们不会存储、记录或分享您的输入。
它支持通配符吗？
是的。路径中的 * 通配符是支持的。
还识别 $ 结尾锚点。
复杂模式使用正则表达式转换进行匹配。
如果没有规则匹配怎么办？
如果没有规则匹配，则默认认为该 URL 是允许的。
这是标准的 robots.txt 行为。
测试工具会清楚地说明未找到匹配规则时的情况。
它支持 Sitemap 指令吗？
Sitemap 指令是从 robots.txt 内容中解析的。
它不影响允许/拒绝规则，仅供参考。
Sitemap URL 显示在原始规则列表中。
它在移动设备上工作吗？
是的，该工具完全响应。
它可以在手机、平板电脑和桌面上使用。
无需下载应用程序。
支持哪些浏览器？
所有现代浏览器均受支持。
这包括 Chrome、Firefox、Safari 和 Edge。
保持浏览器更新以获得最佳效果。
我可以同时测试多个 URL 吗？
目前该工具一次只能测试一个 URL。
在输入框中更改 URL 路径，然后对每个 URL 点击再次测试。
在您测试时，robots.txt 内容保持加载。