Cloudflare推出AI爬虫红黑榜 字节跳动因不遵守抓取协议直接垫底

业界 来源:蓝点网 2025-07-03 06:05:30

网络服务提供商 Cloudflare 日前推出 AI 爬虫红黑榜,通过四个维度对人工智能公司的爬虫进行验证、识别和统计,首批被评测的爬虫包括 OpenAI、Google、Meta、Anthropic、xAI 和字节跳动。

目前评价比较优秀的只有 OpenAI 的 ChatGPT 系列爬虫,而垫底的则是 xAI Grok 爬虫和字节跳动爬虫,其中字节跳动爬虫因各种项目全部没有达标而排在末尾。

接下来这个红黑榜网站还会记录 RAG 和搜索引擎爬虫并给出得分,后续也会陆续增加更多爬虫的识别和评分,而网站则可以根据红黑榜决定是否要通过更激进的手段屏蔽这些爬虫 (毕竟 robots.txt 已经没啥用)

点击这里查看最新的红黑榜排名:https://goodaibots.com/

四个维度如下:

爬虫 IP 是否已验证:AI 公司是否已经公布爬虫的 IP 地址段,公布后有助于准确识别避免其他爬虫冒充

是否通过 WebBotAuth 验证:WebBotAuth 是一种通过加密签名验证爬虫身份的协议,比通过 IP 识别更准确

爬虫是否分离:分离爬虫很重要,因为网站可以根据不同类型的爬虫做出相应处理,例如有爬虫专门为了抓取数据就可以直接屏蔽,而有些爬虫则为了搜索引擎使用可能可以提供流量,这种爬虫可以被保留抓取。

是否遵守 robots.txt 协议:该协议用来指示爬虫是否允许抓取以及允许抓取哪些路径,这是个行业约定俗成的规范,部分爬虫完全不遵守该协议

字节跳动的爬虫每天会在整个互联网上抓取数据但却不遵守 robots.txt 协议,字节跳动也没有公开 IP 地址段导致网站管理员无法判断自称 Bytespider 是否真的来自字节跳动。

蓝点网此前就因为字节跳动的爬虫高频次抓取内容且不遵守 robots.txt 协议而不得不直接在服务器配置文件中阻断 UA 包含任何 Bytespider 字符串的请求以减少服务器开支。

不过除了字节跳动外其他爬虫也好不到哪去,例如 Anthropic 和 xAI Grok 的爬虫可能也不遵守 robots.txt 协议,由于这些公司都没有提供 IP 地址段可以用来验证爬虫,所以 Cloudflare 无法判断它们是否遵守 robots.txt 协议。

延伸阅读
  • 小米发布AI眼镜

    北京商报讯(记者 刘四红)6月26日,小米重磅发布“面向下一代的个人智能设备”——小米AI眼镜。全新小米AI眼镜具备可支付功能,内置支付宝“看一下支付”,方便用户在双手忙碌或不便使用手机时,通过眼镜扫

  • 7月起老年人坐火车打折?AI造假

    本文转自【互联网联合辟谣平台】;最近,有网民询问,网传“7月1日起老年人坐火车有新规定,买票打折”等信息是真的吗?经核查,传言不实。进一步溯源发现,相关信息大概率为自媒体利用AI软件生成,依旧是“博眼

  • OpenAI宣布将o3模型调用价格下调80% 每百万输出从40美元降低至8美元

    2025 年 4 月 OpenAI 发布推理模型 o3,该模型在多种基准测试中都取得最佳成绩,模型还支持使用外部工具例如网页浏览和使用 Python 解释器等。尽管该模型在性能上表现不俗但 API 调

关注公众号:拾黑(shiheibook)了解更多

友情链接:

关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
安全、绿色软件下载就上极速下载站:https://www.yaorank.com/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接