新火种(xhz.cn) 9月2日消息:根据人工智能内容检测器 Originality.AI 的最新数据，全球前 1000 个网站中有近 20% 阻止爬虫机器人收集网络数据用于 AI 服务。

在缺乏明确法律或监管规定管理 AI 使用版权材料的情况下，大小不一的网站都自行采取措施。

OpenAI 于 8 月初推出了其 GPTBot 爬虫，并宣布所收集到的数据「可能被用于改进未来模型」，承诺排除付费内容并指导网站如何禁止该爬虫。随后，包括《纽约时报》、路透社和 CNN 等知名新闻网站开始阻止 GPTBot，并且许多其他网站也效仿。

根据 Originality.AI 的数据，在全球前 1000 个最受欢迎的网站中，阻止 OpenAI ChatGPT bot 的数量从 8 月 22 日 9.1％ 增加到 8 月 29 日 12％。封锁 ChatGPT bot 的最大网站是亚马逊、Quora 和 Indeed。数据显示，更大型的网站更有可能已经封锁了 AI 爬虫机器人。

Common Crawl Bot 是另一个定期收集某些 AI 服务使用的 Web 数据的爬虫程序，在全球前 1000 个顶级网站上被屏蔽率为 6.77％。

任何您可以从 Web 浏览器访问的页面都可以被爬虫程序「抓取」，它们就像浏览器一样运行，但将材料存储在数据库中而不是向用户显示。

这就是搜索引擎如 Google 收集信息的方式。网站所有者一直有能力发布指令，告诉这些爬虫程序离开他们的网站，但合作完全是自愿性质，并且恶意操作者可以忽略这些指令。

谷歌和其他网络公司认为其数据爬虫工作属于合理使用范围，但许多出版商和知识产权持有人长期以来一直反对此做法，并且该公司因此面临了多起诉讼。大型语言模型和生成式 AI 的兴起使得这个问题重新受到

自从 Google 和其他搜索网站将用户引导至其支持广告的网站后，一些出版商至少认为允许搜索爬虫程序进入其网站具有某种价值。然而，在 AI 时代中，出版商更积极地阻止爬虫程序进入其网站，因为暂时没有将其数据交给 AI 公司的好处。许多媒体公司目前正在与 AI 公司就以费用向其授权数据进行谈判，但这些谈判还处于早期阶段。

在过去 20 年中被 Google 拿走了一些东西的媒体机构对 OpenAI 等快速商业化的 AI 服务持敌意和「我们不会再上当」的态度。据 The Information 报道，OpenAI 预计在未来一年内将带来超过 10 亿美元的收入。

新闻媒体公司正在努力找到平衡点，在接受和抵制人工智能之间挣扎。一方面，该行业迫切需要寻找创新方法来提高劳动密集型业务的利润率。

另一方面，在人们对新闻媒体公司的信任度处于历史低点之际，将人工智能引入新闻编辑室的工作流程，会带来具有挑战性的道德问题。

而如果太多的网络阻碍人工智能爬虫，它们的所有者可能会发现更难改进和更新他们的人工智能产品——而且好的数据也变得越来越难找到。

Originality.AI 的发现显示，前 1000 个网站中 GPTBot 的屏蔽率每周增加约 5%。