Linux 用卷曲刮多页

Linux 用卷曲刮多页,linux,curl,web-scraping,Linux,Curl,Web Scraping,我试图从一个URL遵循特定模式的网站上删除数据。具体来说,它们是这样的: http://msn.com/21-05-2013/data http://msn.com/22-05-2013/data 现在,您可以看到URL中唯一更改的是日期。是否有一个curl命令,我可以告诉它我的日期范围,它将为我检索数据 我查看了官方文档和Stackoverflow,但没有发现任何直接相关的内容。您可能希望在bash中使用for循环,而不是在curl中使用。在2013年5月的所有日子里都会出现类似的情况: f

我试图从一个URL遵循特定模式的网站上删除数据。具体来说,它们是这样的:

http://msn.com/21-05-2013/data
http://msn.com/22-05-2013/data
现在,您可以看到URL中唯一更改的是日期。是否有一个curl命令,我可以告诉它我的日期范围,它将为我检索数据


我查看了官方文档和Stackoverflow,但没有发现任何直接相关的内容。

您可能希望在bash中使用for循环,而不是在curl中使用。在2013年5月的所有日子里都会出现类似的情况:

for day in $(seq 1 1 31); do
    url=$(printf "http://msn.com/%02d-05-2013/data" $day)
    curl $url
done

您可能需要bash中的for循环,而不是curl中的某些内容。在2013年5月的所有日子里都会出现类似的情况:

for day in $(seq 1 1 31); do
    url=$(printf "http://msn.com/%02d-05-2013/data" $day)
    curl $url
done

您可以使用bash的数字扩展来获取所有相关的url

例如:

将扩展到2013年的所有日期(有些日期无效,如31-02)

和ofc,以获得更清晰的边界:

http://msn.com/{15..28}-02-2013/data http://msn.com/{1..14}-03-2013/data

您可以使用bash的数字扩展来获取所有相关的url

例如:

将扩展到2013年的所有日期(有些日期无效,如31-02)

和ofc,以获得更清晰的边界:

http://msn.com/{15..28}-02-2013/data http://msn.com/{1..14}-03-2013/data