OpenAI Bot引发的网站危机：七人公司的挣扎与困境

Triplegangers

周六，Triplegangers首席执行官Oleksandr Tomchuk发现公司电商网站崩溃，罪魁祸首是OpenAI的bot在疯狂抓取网站内容。Triplegangers是一家拥有7名员工的公司，花费十余年组建了最大的Web“人类数字替身”数据库。OpenAI发送了“数万个”服务器请求，试图下载数十万张照片及详细说明，这给Triplegangers带来了巨大的损失。

网站必须使用正确配置的robot.txt文件来阻止OpenAI的bot，但这并非万无一失，另一家人工智能初创公司Perplexity去年夏天就曾被《连线》杂志调查点名未遵守该协议。到周三，Triplegangers设置了正确的robot.txt文件和Cloudflare账户来阻止GPTBot等爬虫。

然而，Tomchuk仍无法确定OpenAI到底获取了什么内容，也无法联系OpenAI询问。他希望其他小型在线企业能意识到，发现AI机器人是否在抓取网站受版权保护的内容的唯一方法是积极查看日志。据数字广告公司DoubleVerify的新研究，2024年AI爬虫和刮刀导致的“一般无效流量”增加了86%。