热门资讯

Cloudflare测试AI付费抓取功能 AI公司必须付钱才能抓取网站内容(附网站开通方法)

业界来源：蓝点网 2025-07-03 06:08:04

此前网络服务提供商 Cloudflare 就透露将针对当前人工智能公司爬虫未经授权对网站的抓取行为提供新功能，允许网站 / 内容出版社向人工智能公司收费来换取内容抓取授权。

目前这个功能开始面向少数网站进行测试，有兴趣的网站需要手动填写申请表，通过后就可以开通该功能并配置是否禁止 AI 爬虫抓取、是否收费以及可以抓取哪些内容。

具体来说：

网站 / 内容出版社可以选择屏蔽所有 AI 爬虫、允许特定爬虫、收取爬虫访问费或提供免费访问权限；

AI 公司可以申请按照抓爬次数的方式进行注册、查看定价、付费或放弃抓取，通过这种方式获取网站的优质内容。

不过目前 Cloudflare 并未透露关于付费抓取的定价问题，不同网站的内容价值不同因此定价可能也不同，所以后续有可能会允许网站自行设置不同的抓取价格，例如每篇内容收费多少等。

使用此功能必须将网站托管在 Cloudflare 并开启小云朵防护功能 (橙色的小云朵)，接下来所有访问流量都由 Cloudflare 分发所以可以识别和控制不同的爬虫，爬虫数据库则由 Cloudflare 提供。

当开启付费抓取功能后，每次 AI 爬虫发出抓爬请求时如果收到 HTTP 200 响应代码则可以成功访问，如果收到的响应代码是 HTTP 402 Payment Required 则代表需要付费。

人工智能公司可以通过发出请求并返回的响应代码来查看网站是否需要付费才能抓取，如果愿意付费则需要到 Cloudflare 注册 AI 爬虫付费抓取功能，开通后即可进行付费抓取。

Cloudflare 称目前该公司已经与几家愿意付费的人工智能公司合作，这些公司已经注册付费抓取计划，但前提是网站 / 内容出版社设置的价格要被人工智能公司接受才行，如果设置的价格过高被拒绝则人工智能公司不会支付费用且停止抓取内容。