Google推出了一个名为GoogleOther的新爬虫
这个爬虫类似于 Googlebot,但它将被 Google 团队内部使用,用于爬取公共网络上的信息。
Google 推出了 GoogleOther,这是一个全新的网络爬虫。
GoogleOther 将被 Google 的各个团队内部使用,用于爬取公共网络上的信息,Gary Illyes 在 LinkedIn 上表示。
它遵循与主要的 Googlebot 爬虫相同的指令和协议,并将为主要的 Googlebot 爬虫释放一些资源。
GoogleOther 已经被 Google 添加到其爬虫文档中:
“通用爬虫可能会被各种产品团队用于从网站中获取公开可访问的内容。例如,它可以用于内部研究和开发的一次性爬取。GoogleOther 爬虫始终遵守其用户代理令牌和全局用户代理(*)的 robots.txt 规则,并使用与 Googlebot 相同的 IP 范围。”
Google 爬虫(用户代理)概述
用户代理 (User Agent):用户代理标记和完整的用户代理字符串非常简单,只是“GoogleOther”。
但是经过爬虫识别网站监控,还有其它的 User-Agent,例如这样:Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.224 Mobile Safari/537.36 (compatible; GoogleOther)
为什么有了新的爬虫?
这个新的爬虫最终将减轻 Googlebot 的一些负担,Illyes 解释道:
“随着我们优化 Googlebot 的爬取方式和内容,我们想要确保的一件事是,Googlebot 的爬取工作仅在内部用于构建搜索使用的索引。为此,我们添加了一个新的爬虫——GoogleOther,将替代 Googlebot 的其他工作,如研发爬取,以释放一些爬取能力供 Googlebot 使用。”
Google 将其用于内部目的。 这是否意味着它正在用于 Bard(一种未知的用途)?目前尚不清楚。
是否应该阻止 GoogleOther? 如果尝试阻止这个新的爬虫会发生什么尚不清楚。但我怀疑你应该密切关注它,如果它对你的服务器造成了太大的压力,你可以决定是否允许或拒绝该新 Googlebot 访问你的站点。
为什么我们关心。 许多人在他们的网站和日志文件中检查爬取活动和爬虫活动。当你看到这个新的 GoogleOther 爬虫时,不要感到惊慌。它是一个真正的 Googlebot。
-
《财富》公布2024年全球最具影响力商界女性:立讯精密王来春、华为孟晚舟等上榜
《财富》杂志于10月5日公布了2024年“全球最具影响力的商界女性榜单”(MPW)。上榜者来自六大洲、19个国家和地区以及14个行业。这100位高管中,超过一半担任首席执行官,主要来自《财富》世界50
-
卡巴斯基称谷歌网络跟踪器活跃量全球第一
卡巴斯基目前公布了 2024 年度网络追踪报告,其中指出谷歌公司网络跟踪器活跃量在全球排行第一。卡巴斯基表示,他们在自家安全产品中内置一款名为 Do Not Track(DNT)的功能,在用户手动启用
-
Gemini Live免费了:只针对Android用户 替代Google助理
谷歌在Pixel 9系列手机的发布会上,同步推出了Gemini Live,该服务提供了一种移动对话体验,让用户和Gemini展开自由流畅的对话。Google现在宣布,所有使用英语的Gemini Liv
关注公众号:拾黑(shiheibook)了解更多
友情链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
安全、绿色软件下载就上极速下载站:https://www.yaorank.com/
随时掌握互联网精彩