Cloudflare推出AI爬虫红黑榜 字节跳动因不遵守抓取协议直接垫底

网络服务提供商 Cloudflare 日前推出 AI 爬虫红黑榜，通过四个维度对人工智能公司的爬虫进行验证、识别和统计，首批被评测的爬虫包括 OpenAI、Google、Meta、Anthropic、