如果我在任何地方都没有 post url，google 网络爬虫如何找到我的网站？

Question

想知道 google 网络爬虫如何找到我的网站。假设我没有在 google.

索引的任何其他地方发布 url

谁能解释一下？

Answer 1

如果您的站点托管在 public 托管站点 company/hosting 服务器场内（与许多其他 Internet 站点一样）， 那么这些公司通常会发布所有 url 网站托管地址的主要爬行索引，提示 google 机器人应该在哪些网站上 crawled/recrawled 以及哪些地址刚刚在他们的托管服务器上创建.

一旦被告知 Google 使用称为“网络爬虫”的软件来发现 public 仅可用的网页。最著名的爬虫称为“Googlebot”。爬虫会查看网页并关注这些网页上的 link，这与您在浏览网页内容时的做法非常相似。他们从 link 转到 link 并将有关这些网页的数据带回 Google 的服务器。