CPU 由于搜索引擎大量抓取导致高负载

CPU High Load because of search engines mass crawling

我有一个包含许多网站的服务器，当一些网站有大量更新时，搜索引擎如：

Bing（特别）、Yandex、雅虎

使用许多 IP 地址访问服务器，他们不注意 CPU 负载和 MySQL 查询并尝试同时获取网页，

那么我怎样才能对整个服务器限制它们

目前我屏蔽了这些搜索引擎IP 谢谢

您必须创建一个 robots.txt 以便搜索引擎读取它并知道不允许索引（抓取）您在其上指定的任何内容。