Free SearchVector 工具
机器人.txt 测试员
验证并测试您的 robots.txt 文件。检查语法错误、分析指令并验证哪些 URL 被爬虫阻止或允许。
输入网站URL来获取并测试其robots.txt文件
SearchVector平台的一部分
验证您的 机器人.txt
您的 robots.txt 文件控制搜索引擎如何抓取您的网站。我们的工具可帮助您验证语法、识别错误并确保您的指令按预期工作。
从任何 URL 中获取 robots.txt 或粘贴您自己的内容进行验证。获取用户代理、允许/禁止规则和站点地图的详细分析。
语法验证
检查 robots.txt 中的语法错误和无效指令。
指令分析
查看所有用户代理、允许/禁止规则和爬网延迟。
站点地图检测
识别 robots.txt 中引用的所有站点地图。
永远的Free
无需注册。是我们为所有人提供的免费 SEO 工具包的一部分。
HOW IT WORKS
怎么样 作品
在几秒钟内测试您的 robots.txt
1
输入URL
输入任意网站 URL 以获取其 robots.txt 文件。
2
分析文件
我们的工具解析并验证 robots.txt 中的所有指令。
3
查看结果
查看错误、警告、用户代理、规则和站点地图。
强大的 特征
全面的 robots.txt 测试
语法验证
识别无效的语法和格式错误。
用户代理分析
查看所有用户代理及其具体规则。
禁止规则
查看每个用户代理的所有被阻止的路径。
允许规则
请参阅明确允许的路径和覆盖。
站点地图检测
查找 robots.txt 中引用的所有站点地图。
错误检测
获取有关潜在问题和错误的警告。
Frequently Asked Questions
有关 robots.txt 测试的常见问题