Web services 为特定html元素抓取一批URL并检索图像的最佳方法是什么?

Web services 为特定html元素抓取一批URL并检索图像的最佳方法是什么?,web-services,sysadmin,wget,Web Services,Sysadmin,Wget,我正在寻找爬网约100个网页是相同的结构,但我需要的图像是不同的名称在每个实例 图像标签位于: #content div.artwork img.artwork 我需要下载结果的src url 有什么想法吗?我的URL位于.txt文件中,并且位于mac os x设备上。我不确定如何在文件上使用类似“选择器”的查询,但Perl正则表达式也可以完成这项工作: for url in `cat urls.txt`; do wget -O- $url; done | \ perl -nle 'pri

我正在寻找爬网约100个网页是相同的结构,但我需要的图像是不同的名称在每个实例

图像标签位于:

#content div.artwork img.artwork
我需要下载结果的src url


有什么想法吗?我的URL位于.txt文件中,并且位于mac os x设备上。

我不确定如何在文件上使用类似“选择器”的查询,但Perl正则表达式也可以完成这项工作:

for url in `cat urls.txt`; do wget -O- $url; done | \
  perl -nle 'print $1 if /<img.+?class="artwork".+?src="([^"]+)"/'
用于“cat url.txt”中的url;dowget-O-$url;完成|\

perl-nle'print$1if/what为wget提供一个.txt URL文件的最佳方法?如果您使用的是bash,那么上面的方法应该可以工作。不知道其他的贝壳。