网络爬虫无法访问网站
Site is not accessible by webscrapers
我正在使用的网站被抓取了错误的信息。 (元标记检查器)即寻找我的托管公司(我的主机名服务提供商)的域时的信息。我完全不明白为什么。我希望能够在社交媒体上分享我的网站,但不知何故它不可用。我真的不知道发生了什么..有人可以帮忙吗?
以下链接说明了我的意思:
https://rankingapp.metatags.nl/nl/reports/mysite.nl
https://developers.facebook.com/tools/debug/sharing/?q=www.mysite.nl
这是我的网站:http://www.mysite.nl
Facebook 在可用时更喜欢 IPv6 而不是 IPv4,并且在调试工具输出中您会看到
Server IP: 2a02:2268:ffff:ffff::4
所以去 check/have 检查您的 DNS 配置是否正确。
DNS 错误地将域的 IPv6 地址解析为共享(?)托管帐户的 "main domain" 是此类问题的常见原因。最终用户在浏览网络时仍然主要 "on IPv4",因此真正的用户几乎不会注意到此类问题 - 但是当 Facebook 抓取程序出现并希望通过 IPv6 请求页面时,它出错了......
我正在使用的网站被抓取了错误的信息。 (元标记检查器)即寻找我的托管公司(我的主机名服务提供商)的域时的信息。我完全不明白为什么。我希望能够在社交媒体上分享我的网站,但不知何故它不可用。我真的不知道发生了什么..有人可以帮忙吗?
以下链接说明了我的意思:
https://rankingapp.metatags.nl/nl/reports/mysite.nl https://developers.facebook.com/tools/debug/sharing/?q=www.mysite.nl
这是我的网站:http://www.mysite.nl
Facebook 在可用时更喜欢 IPv6 而不是 IPv4,并且在调试工具输出中您会看到
Server IP: 2a02:2268:ffff:ffff::4
所以去 check/have 检查您的 DNS 配置是否正确。
DNS 错误地将域的 IPv6 地址解析为共享(?)托管帐户的 "main domain" 是此类问题的常见原因。最终用户在浏览网络时仍然主要 "on IPv4",因此真正的用户几乎不会注意到此类问题 - 但是当 Facebook 抓取程序出现并希望通过 IPv6 请求页面时,它出错了......