Bing每天发现12亿个以前从未见过的 URL

微软的 Fabrice Canel 表示，Bing每天发现12亿个以前从未见过的标准化 URL。一天之内，BingBot 可以找到很多新的 URL，你不觉得吗？

但是网络很大，内容不断被生产出来，不仅仅是高质量的内容，还有大量的垃圾、胡言乱语、机器生成的内容等等。

Fabrice 在Twitter 上解释说，大部分内容是“大部分无用的内容”，他列举了重复内容、抓取的内容、自动生成的内容、垃圾邮件内容、垃圾内容等示例。

因此，虽然 Bing 每天可能会发现数十亿个新 URL，但我怀疑它会索引其中的大部分内容。

以下是推文截图：

Fabrice Canel 简介

Fabrice 在 Microsoft 拥有 20 年的搜索经验。Fabrice 是 Bing 团队的首席项目经理，负责抓取、处理和索引团队，每天处理数千亿新的或更新的网页！2006 年，Fabrice 加入了 MSN Search Beta 项目，从今天开始，Fabrice 一直在推动 Bing 平台的发展

为了确保 Bing 索引是新鲜和全面的，他负责 Sitemaps.org 和 AMP on Bing 的协议和标准。在加入 MSN 搜索之前，Fabrice 是 Microsoft 网站搜索的首席项目经理，其职责涵盖搜索的各个方面，从搜索引擎技术到搜索用户体验……再到 SEO 早期的内容。

原文地址：https://www.zhanzhangb.com/4301.html