SEO

本文讲述了如何正确限制 Googlebot 的抓取速度。作者强调，为了减缓 Googlebot 对网站的抓取频率，有些网站所有者和 CDN 会返回 404 或其他 4xx 类别的客户端错误，但这样会对 Googlebot 不利。所有 4xx HTTP 状态码（429 除外）都会导致内容从 Google 搜索中删除；如果提供了一个带有 4xx HTTP 状态码的 robots.txt 文件，它会被认为不存在。正确的方式是使用 Search Console 暂时降低抓取速度或将 500、503 或 429 HTTP 状态代码返回给 Googlebot，以限制其抓取速度。