Seo 搜索引擎优化,谷歌站长工具-如何让我生成一个404抓取错误报告的坏网址是在网站地图?

Seo 搜索引擎优化,谷歌站长工具-如何让我生成一个404抓取错误报告的坏网址是在网站地图?,seo,google-webmaster-tools,xml-sitemap,Seo,Google Webmaster Tools,Xml Sitemap,我有一个大型网站的自动生成的网站地图,其中包含大量的URL,导致404个错误,我需要删除这些错误。我需要生成一个报告的基础上,只有网址是在网站地图,而不是爬网错误所造成的网站上的坏链接。我看不到任何过滤爬网错误报告的方法,只包括这些URL。有人知道我能做到这一点的方法吗 谢谢我不确定您是否可以通过网站管理员工具轻松地完成这项工作,但亲自检查这些工具并不重要。下面是一个perl程序,它将接受一个站点地图文件并检查每一行,打印每个url及其状态 #!/usr/bin/perl use strict;

我有一个大型网站的自动生成的网站地图,其中包含大量的URL,导致404个错误,我需要删除这些错误。我需要生成一个报告的基础上,只有网址是在网站地图,而不是爬网错误所造成的网站上的坏链接。我看不到任何过滤爬网错误报告的方法,只包括这些URL。有人知道我能做到这一点的方法吗


谢谢

我不确定您是否可以通过网站管理员工具轻松地完成这项工作,但亲自检查这些工具并不重要。下面是一个perl程序,它将接受一个站点地图文件并检查每一行,打印每个url及其状态

#!/usr/bin/perl
use strict;
require LWP::UserAgent;
my $ua = LWP::UserAgent->new;
while (my $line = <>){
    if ($line =~ /\<loc\>(.*?)\<\/loc\>/){
        my $url = $1;
        my $response = $ua->get($url);
        my $status = $response->status_line;
        $status =~ s/ .*//g;
        print "$status $url\n";
    }
}

我不确定你能从网站管理员工具轻松地做到这一点,但是你自己检查它们是很简单的。下面是一个perl程序,它将接受一个站点地图文件并检查每一行,打印每个url及其状态

#!/usr/bin/perl
use strict;
require LWP::UserAgent;
my $ua = LWP::UserAgent->new;
while (my $line = <>){
    if ($line =~ /\<loc\>(.*?)\<\/loc\>/){
        my $url = $1;
        my $response = $ua->get($url);
        my $status = $response->status_line;
        $status =~ s/ .*//g;
        print "$status $url\n";
    }
}

WMT中没有任何本机内容。你会想做一些Excel

下载被破坏的链接列表 获取您的站点地图链接列表。 把它们并排放好。 使用VLOOKUP匹配列 另外,使用一些条件格式可以更容易地查看它们是否匹配。然后,按颜色分类。
WMT中没有任何本机内容。你会想做一些Excel

下载被破坏的链接列表 获取您的站点地图链接列表。 把它们并排放好。 使用VLOOKUP匹配列 另外,使用一些条件格式可以更容易地查看它们是否匹配。然后,按颜色分类。
您还可以将sitemap.xml导入A1网站分析器,让它扫描它们。见:


之后,您可以通过以下方式过滤扫描结果:。404响应代码,并在需要时将其导出到CSV。如果需要的话,可以从链接的位置将其包括在内。

您还可以将sitemap.xml导入A1 Website Analyzer并让它扫描它们。见:


之后,您可以通过以下方式过滤扫描结果:。404响应代码,并在需要时将其导出到CSV。如果需要的话,从链接的地方包括在内。

在我购买之前,30天的免费试用期能做到这一切吗?当然。试用期不受限制,只有30天的限制。在我购买之前,30天的免费试用期能完成所有这些吗?当然。除30天期限外,试验不受限制。