Cloudflare推出AI爬虫红黑榜 字节跳动因不遵守抓取协议直接垫底
网络服务提供商 Cloudflare 日前推出 AI 爬虫红黑榜,通过四个维度对人工智能公司的爬虫进行验证、识别和统计,首批被评测的爬虫包括 OpenAI、Google、Meta、Anthropic、xAI 和字节跳动。
目前评价比较优秀的只有 OpenAI 的 ChatGPT 系列爬虫,而垫底的则是 xAI Grok 爬虫和字节跳动爬虫,其中字节跳动爬虫因各种项目全部没有达标而排在末尾。
接下来这个红黑榜网站还会记录 RAG 和搜索引擎爬虫并给出得分,后续也会陆续增加更多爬虫的识别和评分,而网站则可以根据红黑榜决定是否要通过更激进的手段屏蔽这些爬虫 (毕竟 robots.txt 已经没啥用)
点击这里查看最新的红黑榜排名:https://goodaibots.com/
四个维度如下:
爬虫 IP 是否已验证:AI 公司是否已经公布爬虫的 IP 地址段,公布后有助于准确识别避免其他爬虫冒充
是否通过 WebBotAuth 验证:WebBotAuth 是一种通过加密签名验证爬虫身份的协议,比通过 IP 识别更准确
爬虫是否分离:分离爬虫很重要,因为网站可以根据不同类型的爬虫做出相应处理,例如有爬虫专门为了抓取数据就可以直接屏蔽,而有些爬虫则为了搜索引擎使用可能可以提供流量,这种爬虫可以被保留抓取。
是否遵守 robots.txt 协议:该协议用来指示爬虫是否允许抓取以及允许抓取哪些路径,这是个行业约定俗成的规范,部分爬虫完全不遵守该协议
字节跳动的爬虫每天会在整个互联网上抓取数据但却不遵守 robots.txt 协议,字节跳动也没有公开 IP 地址段导致网站管理员无法判断自称 Bytespider 是否真的来自字节跳动。
蓝点网此前就因为字节跳动的爬虫高频次抓取内容且不遵守 robots.txt 协议而不得不直接在服务器配置文件中阻断 UA 包含任何 Bytespider 字符串的请求以减少服务器开支。
不过除了字节跳动外其他爬虫也好不到哪去,例如 Anthropic 和 xAI Grok 的爬虫可能也不遵守 robots.txt 协议,由于这些公司都没有提供 IP 地址段可以用来验证爬虫,所以 Cloudflare 无法判断它们是否遵守 robots.txt 协议。
-
半年不到 DeepSeek已跌落神坛
属实没想到,半年前还风靡全球的 DeepSeek 就这么跌下神坛了。据 QuestMobile 推出的《2025年二季度AI应用价值榜》数据显示,其月均下载量暴跌 72.2%,从惊人的八千多万下载量跌
-
特朗普:忍不了“人工智能”这个名字
本文转自【中国新闻网】;中新网7月24日电 据美媒报道,当地时间23日,美国总统特朗普在华盛顿特区举行的人工智能峰会上发言,他表示自己无法忍受“人工智能”(Artificial Intelligenc
-
文件传输平台WeTransfer修改使用协议撤回使用用户文件训练AI的条款
在遭到大量用户尤其是企业用户抨击后,知名文件传输与共享平台 WeTransfer 宣布修改使用协议,撤回此前版本中有关使用用户文件训练人工智能模型的条款。WeTransfer 在 2025 年 7 月
关注公众号:拾黑(shiheibook)了解更多
友情链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
安全、绿色软件下载就上极速下载站:https://www.yaorank.com/

随时掌握互联网精彩