Useragent:Google Web 预览(机器人或非机器人)

Useragent: Google Web Preview (Bot or Not)

我用来过滤来自真实用户的机器人的方法之一是检查用户代理。 检测后,我阻止了他们正在使用的 IP。我看到很多访问者在他们的用户代理中嵌入了 'Google Web Preview'(示例):

mozilla/5.0 (x11; linux x86_64) applewebkit/537.36 (khtml, like gecko; google 
web preview) chrome/41.0.2272.118 safari/537.36

当我检查与此用户代理相关的 IP 地址时,它们似乎与 Google 无关。它们都是来自世界各地的家庭 IP 地址。 当我在我的网站上关注用户时,我注意到他的用户代理会在继续浏览我的网站后立即更改为:

mozilla/5.0 (ipad; cpu os 10_3_3 like mac os x) applewebkit/602.1.50 (khtml, 
like gecko) gsa/33.0.164895372 mobile/14g60 safari/602.1

问题:这是机器人还是Google使用访问者生成预览? IP 的行为就像普通用户一样(例如,点击链接,被 robots.txt 阻止)

谢谢!

当您在 chrome 新标签页中打开时,google 搜索输入下方有一些最常访问的链接。

生成预览图像以便加载网页,加载网页时用户代理包含 "Google Web Preview"

所以我会说这是一个机器人。