谷歌优化：减慢 Googlebot 的抓取速度-陈海飞博客

海外翻墙免费加速器：[入口]

减慢 Googlebot 的抓取速度

Google 会通过先进的算法确定最佳的网站抓取速度。

我们的目标是，每次访问您的网站时都尽可能多地抓取网页，但不会过多地占用服务器的带宽。

在某些情况下，Google 抓取您的网站可能会给您的基础架构带来沉重负载，或在服务中断期间带来不必要的成本。为了避免这种情况，您可以决定减少 Googlebot 发出的请求数量。

警告：

减慢 Googlebot 的抓取速度将会产生广泛的影响，请谨慎考虑。

此举的影响包括：Googlebot 发现的新网页数量会减少，现有网页的刷新频率会降低（例如，价格和商品库存状况可能需要更长时间才能体现在 Google 搜索中），被移除的网页保留在索引中的时间可能会更长。

如果您决定减慢 Googlebot 的抓取速度，可以采用以下方法：

1、通过 Search Console 减慢抓取速度（推荐做法）

2、让 Google 自动减慢抓取速度

如需快速减慢抓取速度，您可以在 Search Console 中更改 Googlebot 抓取速度。

对此设置所做的更改通常会在几天内得以体现。如需使用此设置，请先验证您的网站所有权。

设置抓取速度时，请务必避免将速度值设得过低，导致无法满足您网站的需求。详细了解抓取预算对 Googlebot 而言有何意义。

如果您急需让抓取速度在短时间（如几个小时或 1-2 天）内减慢，应该返回包含 500、503 或 429 HTTP 结果代码（而非所有内容）的信息性错误页面。

在遇到大量包含 500、503 或 429 HTTP 结果代码的网址时（例如，如果您停用了您的网站），Googlebot 会减慢对您网站的抓取速度。

这项更改会在 Googlebot 抓取返回这些错误的网址以及整个网站时体现出来。这些错误的数量减少后，抓取速度会自动重新开始提升。

警告：

我们不建议您长时间（即超过 1-2 天）这么做。因为如果 Googlebot 一连数天在同一网址上发现上述状态代码，可能会将该网址从 Google 索引中移除。