Cloudflare 将推出按次收费爬取功能供 AI 爬虫使用
Hacker News 摘要原标题：Cloudflare to introduce pay-per-crawl for AI bots
Cloudflare 宣布推出“按次收费爬取”（pay per crawl）功能，为内容创作者提供一种新的方式，以控制和货币化他们的在线内容。当前，许多出版商和网站拥有者面临二元选择：要么允许人工智能（AI）爬虫无障碍访问他们的内容，要么建立壁垒，完全封锁访问。但 Cloudflare 提出了一种第三种选择，让内容创作者可以在允许 AI 爬虫访问其内容的同时获得报酬。
在与新闻机构、出版社和社交媒体平台的多次对话中，Cloudflare 了解到这些创作者希望在允许 AI 爬虫访问时能够获得补偿。按次收费爬取在私测阶段，利用 HTTP 状态码和既有认证机制，创建了一个收费访问内容的框架。每当 AI 爬虫请求访问内容时，需通过请求头传递付费意图，成功时返回 HTTP 200 状态码，否则返回 402 状态码表示需要支付。
“按次收费爬取”赋予域名所有者完全的货币化策略控制权。创作者可以为他们的网站设定一个统一的按请求收费价格。出版社有三种选择：允许爬虫免费访问、要求按照设定价格收费，或者完全禁止访问。即使爬虫与 Cloudflare 没有结算关系，出版社仍然可以选择“收费”，这相当于一个网络级的屏蔽，但同时提示爬虫未来可能建立关系的机会。
为了防止爬虫假冒，Cloudflare 提供了 WEB Bot Auth 方案，通过生成 Ed25519 密钥对和使用 HTTP 消息签名等技术来验证爬虫身份。爬虫在请求中需要包含特定的签名头，以提高请求的安全性。在决定内容需要支付的情形时，可以通过两种方式：反应式（发现优先）或主动式（意图优先）。如果爬虫主动包含价格上限，且内容价格在其上限以内，便可成功请求。
当爬虫发出有效请求并获得批准时，Cloudflare 会记录每次认证请求并收费，然后将收益分配给内容创作者。这一机制标志着在线内容控制的技术转变，旨在为创作者提供丰厚多样的收入渠道。
目前，按次收费爬取仍处于私测阶段，Cloudflare 欢迎感兴趣的爬虫和内容创作者进行联系。这个新功能不仅展现了内容创作者的控制权，同时也预示着一个全新的数字资源获取及管理的未来。