根据 The Verge 的报道,AI 初创公司 Anthropic 的网络爬虫在短短 24 小时内对维修网站 iFixit 进行了近 100 万次的抓取尝试,这一行为严重违反了该网站的数据使用条款。iFixit 的 CEO Kyle Wiens 在社交平台 X 上公开表示:“如果这些请求遵守了我们的服务条款,它们会明确告知我们的内容是禁止被用于此类目的的。”
由于 Anthropic 的爬虫抓取频率过高,不仅触发了 iFixit 的所有安全警报,还迫使 iFixit 的技术团队紧急介入。为了应对这一情况,iFixit 已经更新了其“机器人排除协议”(robot.txt 文件),以延长爬虫的访问延迟,随后 Anthropic 确实停止了对 iFixit 数据的抓取。
值得注意的是,这并非 Anthropic 首次因违规爬虫行为受到指责。此前,免费软件文档托管平台 Read the Docs 和自由职业平台 Freelancer 也曾在同一推文中指出,他们的网站同样遭受了 Anthropic 爬虫的“积极”抓取。