Linux 有没有办法在通配符上使用wget?

Linux 有没有办法在通配符上使用wget?,linux,shell,wget,Linux,Shell,Wget,是否可以在linux上使用wget命令来获取网站目录树中的所有文件 我可以使用镜像等递归方式获取网站的所有文件,但我只想获取单个目录中的所有文件。在我看来,它看起来像: wget http://www.somesite.com/here/is/some/folders/* 这将下载/folders/目录中的所有文件(不必递归查找子目录)。但是通配符似乎不适用于wget,所以我正在寻找正确的方法。当然,有wget-r,如果有一个可以递归的索引,它将递归到文件夹下的所有内容 您可以做的另一

是否可以在linux上使用wget命令来获取网站目录树中的所有文件

我可以使用镜像等递归方式获取网站的所有文件,但我只想获取单个目录中的所有文件。在我看来,它看起来像:

    wget http://www.somesite.com/here/is/some/folders/*

这将下载/folders/目录中的所有文件(不必递归查找子目录)。但是通配符似乎不适用于wget,所以我正在寻找正确的方法。

当然,有
wget-r
,如果有一个可以递归的索引,它将递归到
文件夹下的所有内容

您可以做的另一件事是,如果在
文件夹
目录中有
index.htm
或任何内容,您可以grep、sed和剪切将wget链接到wget,如下所示:

wget -qO - http://foo/folder/index.htm | sed 's/href=/#/' | cut -d\# -f2 | \
  while read url; do wget $url; done
这通常是我在需要刮的时候做的,无论什么原因,我都不能重复

编辑:


可能要添加
--无父项
,并正确设置
--域
。实际上,它非常好,涵盖了这些内容。

当然,有一个
wget-r
,如果有一个可以递归的索引,它将递归到
文件夹/
下的所有内容

您可以做的另一件事是,如果在
文件夹
目录中有
index.htm
或任何内容,您可以grep、sed和剪切将wget链接到wget,如下所示:

wget -qO - http://foo/folder/index.htm | sed 's/href=/#/' | cut -d\# -f2 | \
  while read url; do wget $url; done
这通常是我在需要刮的时候做的,无论什么原因,我都不能重复

编辑:


可能要添加
--无父项
,并正确设置
--域
。实际上,它非常好,涵盖了这方面的内容。

因为你不能在http上获取文件列表,所以你不能使用通配符。因为你不能在http上获取文件列表,所以你不能使用通配符。在我的情况下,你的sed | cut无法正常工作,最后做了类似于
wget-O-http://foo |sed-n的#^.*href=“\([^”]\{1,\}\)“*$#\1#p'|同时读取url
无法让你的sed | cut为我的案例干净地工作,结果做了类似于
wget-O-http://foo |sed-n's#^.*.href=“\([^“]\{1,\}\)”*$\1#p'|在读取url时;..