bingbot是大家熟知的必应搜索引擎的爬虫,近期微软必应官方宣布,将在 2022 年秋季之前停止使用旧版本bingbot。取而代之的将是采用新版Edge浏览器网页渲染引擎的新爬虫,分为桌面和移动两个版本。
必应搜索旧版爬虫:
"Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
注:旧版本不区分桌面和移动设备。
必应搜索桌面版爬虫(新):
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
必应搜索移动版爬虫(新):
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
新版的bingbot爬虫定期将网页渲染引擎更新到最新的 Microsoft Edge 稳定版本,在上面的字符串中,“ W.X.Y.Z ”将替换为正在使用的最新 Microsoft Edge 版本,例如:“100.0.4896.127”。
这也就意味着,如果网页不兼容 Microsoft Edge 浏览器的话,可能不会被必应搜索收录。
新版本切换后,如果发现网站未被正常收录或已收录网页出现大幅减少等问题,可以与必应的官方团队联系并反馈。
此次必应更新网络爬虫,对于站长来说,无需做任何修改。也没必要更新robots.txt,因为新版本在 robots.txt 中依然沿用bingbot名称,并遵守相关规则。
截止到发文,站长帮暂未监测到新版的必应爬虫,依然是旧版爬虫在爬网。可能新版爬虫还未正式放出。
原文地址:https://www.zhanzhangb.com/3247.html