🤖 robots.txt 解析测试

输入网站URL获取robots.txt文件,解析爬虫规则并测试指定路径的爬取权限

⚠ 部分网站可能因CORS限制无法直接获取,请尝试不同的网站