Cloudflare阻止了海量AI爬虫白嫖网站内容，但对谷歌无计可施

自7月1日以来，这家互联网基础设施公司已阻止了超过4000亿个AI机器人请求。

该公司于7月宣布了内容独立日——这是一项与知名出版商和人工智能公司一起的倡议，在内容创作者的工作中默认阻止人工智能爬虫，除非人工智能公司支付访问费用。Cloudflare告诉《连线》，自2025年7月1日以来，被封锁的人工智能机器人数量为4160亿。

Prince特别强调了对谷歌关于其搜索和人工智能爬虫的政策的担忧。谷歌将其搜索和人工智能爬虫合二为一，因此阻止其人工智能抓取器也会阻止网站在谷歌搜索中索引的能力。此举使内容创作者陷入困境，因为他们不希望人工智能模型对他们的创作进行培训，但他们通常需要在谷歌搜索中的位置来帮助受众找到他们。

Cloudflare发现，谷歌目前在互联网上看到的页面是OpenAI的3.2倍，是微软的4.6倍，是Anthropic或Meta的4.8倍。简单地说，“他们拥有这种令人难以置信的特权，”Prince说。

—— 连线杂志

via 风向旗参考快讯 - Telegram Channel