Robots.txt 对于 umbraco

Question

我想知道 Umbraco (7.5) 网站是否有默认值 Robots.txt。现在，我用这些项目创建了一个。我还要补充什么吗？

User-Agent: *
Disallow: /umbraco/
Disallow: /umbraco_client/
Disallow: /css
Disallow: /Errorpages/
Disallow: /scripts/
Disallow: /Config/

Answer 1

实际上，您应该考虑从列表中删除 /css 和 /scripts。我相信 Google 找到了 friendlier/better 那些可用的。

否则，也可以将 /install/ 放在那里，以防万一。

Answer 2

我最终使用了这个

Sitemap: https://{HTTP_HOST}/sitemap.aspx
User-agent: *
Disallow: /aspnet_client/
Disallow: /bin/
Disallow: /config/
Disallow: /css/
Disallow: /data/
Disallow: /install/
Disallow: /masterpages/
Disallow: /python/
Disallow: /scripts/
Disallow: /umbraco/
Disallow: /umbraco_client/
Disallow: /usercontrols/
Disallow: /xslt/

Answer 3

关于 CSS & JSS 检查这个：https://yoast.com/dont-block-your-css-and-js-files/。我最近决定把它们剪掉。

我的，总是与 Umbraco 实例一起使用，robots.txt 文件如下所示：

# robots.txt for Umbraco
User-agent: *
Disallow: /aspnet_client/
Disallow: /bin/
Disallow: /config/
Disallow: /data/
Disallow: /install/
Disallow: /macroScripts/
Disallow: /masterpages/
Disallow: /umbraco/
Disallow: /umbraco_client/
Disallow: /usercontrols/
Disallow: /xslt/
User-agent: Libwww-perl
Disallow: /
Sitemap: http://{HTTP_HOST}/sitemap

Robots.txt 对于 umbraco

Robots.txt for umbraco

robots.txt

umbraco

umbraco7