如何停止重新抓取和重新索引我网站上的页面?
How to stop recrawling and reindexing the pages on my website?
我的网站 (Wordpress) 上有大约 200 万个页面。 google 总是在我的网站上抓取许多页面(重新抓取旧页面),最近花了大约 3 天的时间来索引新页面以便在 google 结果中显示。
如何停止重新抓取?
我的站点地图示例:http://www.serze.com/post_part1.xml
为此,只需转至 admin > settings > Reading启用阻止搜索引擎索引此站点。
并为 Google 创建一个单独的 robot.txt
阻止搜索引擎索引的选择是您的整个站点将无法访问 google。之后您的网站将不会在搜索结果中排名。
您可以为 sitemap.xml 上的特定页面设置更新频率。
https://www.sitemaps.org/protocol.html(检查 changefreq 和 priority 标签)
您还可以在搜索控制台上查看抓取统计信息。
https://support.google.com/webmasters/answer/48620?hl=en
但这可能是不同的问题。您有搜索引擎优化或软件更新吗?
我的网站 (Wordpress) 上有大约 200 万个页面。 google 总是在我的网站上抓取许多页面(重新抓取旧页面),最近花了大约 3 天的时间来索引新页面以便在 google 结果中显示。
如何停止重新抓取?
我的站点地图示例:http://www.serze.com/post_part1.xml
并为 Google 创建一个单独的 robot.txt
阻止搜索引擎索引的选择是您的整个站点将无法访问 google。之后您的网站将不会在搜索结果中排名。
您可以为 sitemap.xml 上的特定页面设置更新频率。
https://www.sitemaps.org/protocol.html(检查 changefreq 和 priority 标签)
您还可以在搜索控制台上查看抓取统计信息。 https://support.google.com/webmasters/answer/48620?hl=en
但这可能是不同的问题。您有搜索引擎优化或软件更新吗?