Asp.net 如何解决爬网问题_Asp.net_Wordpress_Dns_Seo_Web Crawler

Asp.net 如何解决爬网问题

asp.net wordpress dns seo web-crawler

Asp.net 如何解决爬网问题,asp.net,wordpress,dns,seo,web-crawler,Asp.net,Wordpress,Dns,Seo,Web Crawler,当我在以下链接的网站爬虫和XML站点地图生成器工具上测试我的网站时，我发现了外部错误408：我的网站名称如：www.MyWebsite.com 在此错误状态下，它会向我显示导致错误的已创建链接，如www.MyWebsite.comhttp/。我无法理解这个链接是如何创建的。它是一个Asp.net网站，也有一个wordpress博客。有人能帮我找出解决办法吗非常感谢。外部408错误通常是由您的站点超时引起的。你知道有什么原因会导致你的网站超时吗？还要确保Robot.txt文件中没有对爬虫程序

当我在以下链接的网站爬虫和XML站点地图生成器工具上测试我的网站时，我发现了外部错误408：我的网站名称如：www.MyWebsite.com 在此错误状态下，它会向我显示导致错误的已创建链接，如www.MyWebsite.comhttp/。我无法理解这个链接是如何创建的。它是一个Asp.net网站，也有一个wordpress博客。有人能帮我找出解决办法吗

非常感谢。外部408错误通常是由您的站点超时引起的。你知道有什么原因会导致你的网站超时吗？还要确保Robot.txt文件中没有对爬虫程序的限制。

@Philip我认为网络错误导致超时。DNS服务器可能无法理解链接“www.MyWebsite.comhttp/”，这就是它超时的原因。我仍然无法理解这种链接是从哪里创建的。。你知道这件事吗？在robots.txt文件中，我有如下内容：“用户代理：*不允许：/faq.aspx不允许：/contactUs.aspx站点地图：”谢谢。