Tool
Box
首页
/
开发
/ robots.txt解析测试
🤖 robots.txt 解析测试
输入网站URL获取robots.txt文件,解析爬虫规则并测试指定路径的爬取权限
🔍 获取并解析
⚠ 部分网站可能因CORS限制无法直接获取,请尝试不同的网站
🧪 测试爬取权限
* (所有爬虫)
Googlebot
Bingbot
Baiduspider
Yahoo Slurp
YandexBot
Twitterbot
Facebook
✅ 测试
查看原始 robots.txt 内容