对网络服务器的奇怪请求

Question

我有一个 VPS 运行 Nginx，目前只提供静态内容。

有一次我在查看日志并注意到一些奇怪的请求：

216.244.66.239 - - [03/Jan/2019:15:04:26 +0100] "GET /en/profile/Souxy HTTP/1.1" 200 4650 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)"
216.244.66.239 - - [03/Jan/2019:15:04:28 +0100] "GET /en/view/8gIi2vad8Y HTTP/1.1" 200 4650 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)"

Answer 1

这是爬虫。在这个 link 上描述 https://moz.com/help/moz-procedures/crawlers/dotbot。也许它正在为您的网站编制索引。

您可以在防火墙上阻止此请求或添加内容为

的文件 robots.txt

User-agent: dotbot
Disallow: /

对网络服务器的奇怪请求

Strange requests to web server

hosting

nginx