Cloudflare近日宣布推出一个颠覆性的市场——“按爬虫付费”，旨在重塑网站拥有者与人工智能（AI）公司的关系。这一全新市场将帮助内容出版者更好地控制他们的内容，同时为AI公司提供一种公平的抓取内容的方式。
过去一年，Cloudflare为应对AI爬虫的激增推出了多项工具，包括一键阻止所有AI爬虫的解决方案和监控AI爬虫访问情况的仪表板。Cloudflare首席执行官马修・普林斯在接受采访时表示，这些工具为新市场的建立打下了基础。
在“按爬虫付费”市场中，网站拥有者可以决定让AI爬虫以特定的费率抓取他们的网站，或选择免费开放，甚至完全阻止爬虫访问。这种模式为网站提供了更多选择，使其能够掌控内容的使用权。
这一市场的推出恰逢新闻出版行业面临巨大挑战之际，特别是在谷歌搜索流量逐渐减少和AI聊天机器人日益流行的背景下。尽管一些大报社已经与科技公司签署了内容授权协议，但绝大多数中小型出版者依然没有获得公平的收益分配。Cloudflare希望通过这一创新的商业模式，为更多出版者提供可持续的收入来源。
同时，Cloudflare还宣布，所有新建网站将默认阻止AI爬虫，网站拥有者必须单独授予某些爬虫权限。这一措施得到了包括康泰纳仕、时代杂志、美国新闻社等多家大型出版商的支持，大家都期望借此实现“基于许可的抓取”模式。
然而，AI时代给出版商带来的挑战不容忽视。
Cloudflare还表示，该市场的真正潜力在于未来“智能代理”的广泛应用。想象一下，用户通过智能代理程序获取
参与这一实验的AI公司和出版商需在Cloudflare上注册账户，通过平台设定价格和交易。虽然目前没有使用加密货币，Cloudflare的CEO暗示未来可能会探索使用稳定币进行交易。
Cloudflare的“按爬虫付费”市场为出版者提供了一条新的盈利路径，虽然还面临诸多挑战，但其潜力不可小觑。
相关文章
