Cloudflare 首席执行官马修·普林斯 敦促英国监管机构拆分谷歌的搜索和人工智能爬虫

今年早些时候，网络基础设施服务商Cloudflare推出了允许网站向采集内容的AI机器人收费的市场。如今，该公司正积极推动加强人工智能领域的监管。

提议限制谷歌AI竞争优势

公司首席执行官马修·普林斯表示，他正在伦敦与英国竞争与市场管理局（CMA）会谈，提议对谷歌在人工智能竞赛中的竞争方式实施更严格规则。鉴于谷歌在搜索领域的主导地位，普林斯认为需要限制其不公平优势。

CMA对谷歌采取监管措施

本月初，CMA因谷歌在搜索和广告市场“根深蒂固的优势地位”，对其授予了特殊监管地位。此举使监管机构能够实施更严格的规制，范围超越搜索和广告业务，涵盖谷歌AI概览、AI模式、Discover信息流、热点新闻和新闻标签等业务板块。

Cloudflare的独特立场

普林斯指出，Cloudflare具备提出建议的独特优势：公司本身不从事AI业务，但与众多AI企业保持合作关系。“我们并非直接参赛方，既不是AI公司也不是媒体出版商，但我们构建了连接双方的网络——80%的AI公司都是我们的客户。”他在伦敦彭博科技会议上这样说明。

谷歌的双重爬虫策略

这位Cloudflare负责人强调，谷歌应当与其他AI公司站在同一起跑线竞争，但现状并非如此。谷歌除搜索引擎外，还利用现有网络爬虫为其AI产品和服务抓取内容。普林斯指出，这赋予了谷歌不公平的竞争优势。

“谷歌声称自己对全球内容享有‘天赋权利’，即使未支付费用也可随意使用，理由是‘过去27年对互联网的贡献’。”普林斯解释道，“他们坚持使用同一爬虫同时服务搜索和AI系统，导致网站若想拒绝AI内容抓取，就必须同时退出搜索引擎索引。”

媒体行业的两难困境

这种捆绑策略对大多数网站而言难以承受，尤其对媒体行业更是致命打击——失去搜索引擎流量意味着损失约20%的收入。普林斯进一步补充：“更严重的是，一旦屏蔽谷歌爬虫，其广告安全团队会同步阻断服务，导致所有平台广告系统停摆，这完全不具备可操作性。”

市场竞争失衡的隐忧

由于谷歌将爬虫服务捆绑提供，其能免费获取Anthropic、OpenAI和Perplexity等竞争对手需要付费才能取得的内容。普林斯警告：“若不改变现状，我们实际上是将整个赛场拱手让给谷歌。”

构建良性竞争生态

普林斯提出的解决方案是培育充分竞争的市场环境，让数千家AI公司能够与众多媒体企业及数百万小微企业进行内容交易。他认为CMA将谷歌列为重点监管对象是深思熟虑之举，表明监管方已意识到谷歌的特殊优势。

行业同盟的形成

Cloudflare已向CMA提交数据，揭示谷歌爬虫的运行机制，并论证其他企业难以复制其成功模式。值得注意的是，普林斯并非唯一持此观点的行业领袖。

上月，美国最大数字与印刷出版商People公司首席执行官尼尔·沃格尔表达了相同立场。他直言谷歌是“破坏规则者”，指出媒体公司因爬虫绑定机制被迫允许谷歌抓取AI训练内容。沃格尔所在公司已采用Cloudflare的解决方案屏蔽未付费AI爬虫，并透露正与多家大型LLM提供商进行商业谈判，证明该体系正在发挥作用。