禁止某些图像文件夹

Question

我正在制作我的 robots.txt 文件。但是我对如何禁止 Googlebot-Image 有点不安全。我想允许 Google 机器人抓取我的网站，但我在下面做出的禁止除外。这是我做的：

User-agent: Googlebot
Disallow:

Disallow: /courses/
Disallow: /portfolio/portfolio-template.php/

User-agent: Googlebot-Image
Disallow: 
/images/graphics/erhvervserfaring/
/images/graphics/uddannelse/

sitemap: http://www.example.com/sitemap.xml

User-agent: Googlebot 和 User-agent: Googlebot-Image 应该写在一起，所以是这样的？:

用户代理：Googlebot-Image 用户代理：Googlebot 不允许：

Disallow: /courses/
          /portfolio/portfolio-template.php/
          /images/graphics/erhvervserfaring/
          /images/graphics/uddannelse/

Answer 1

不，您应该将它们与禁止信息一起单独编写。另外，您也应该复制禁止信息。

User-agent: Googlebot-Image
Disallow: /courses/
Disallow: /portfolio/portfolio-template.php/
Disallow: /images/graphics/erhvervserfaring/
Disallow: /images/graphics/uddannelse/

User-agent: Googlebot
Disallow: /courses/
Disallow: /portfolio/portfolio-template.php/
Disallow: /images/graphics/erhvervserfaring/
Disallow: /images/graphics/uddannelse/

作为参考，您可以查看 Facebook and what apple 在他们的 robots.txt 中做了什么。

禁止某些图像文件夹

disallow some image folders

seo

robots.txt

web-crawler