Web 更改网址和下载-请告知

Web 更改网址和下载-请告知,web,download,Web,Download,我是一个完全的新手,所以请原谅,如果答案已经在那里,因为我没有足够的知识来进行准确的搜索 我有一个项目,可以从www.xxxxxx.com/xxDATEFORMAT等网址访问我想要的CSV数据。我想知道我需要学习/做些什么来基本上自动化 更改该网址中的日期 并将csv下载到文件名为DATEFORMAT的文件夹中 然后对所有日期重复该过程,使其返回到某个给定日期 据我所知,这需要一个脚本和某种循环…但我真的不知道更多。我想它至少需要指定2个日期,而且它是交易数据,所以它不包括周末,所以我愿意在某处

我是一个完全的新手,所以请原谅,如果答案已经在那里,因为我没有足够的知识来进行准确的搜索

我有一个项目,可以从www.xxxxxx.com/xxDATEFORMAT等网址访问我想要的CSV数据。我想知道我需要学习/做些什么来基本上自动化

更改该网址中的日期 并将csv下载到文件名为DATEFORMAT的文件夹中 然后对所有日期重复该过程,使其返回到某个给定日期

据我所知,这需要一个脚本和某种循环…但我真的不知道更多。我想它至少需要指定2个日期,而且它是交易数据,所以它不包括周末,所以我愿意在某处输入日期列表

OS是WINDOWS7,但可以考虑通过Windows虚拟机使用Linux发行版,如果这是可行的。 任何指点,无论多么少,都将不胜感激。


干杯

如果您在linux上,您可以在
.sh
脚本中使用类似的内容:

DATE_PART=`date +%Y/%m/%d`
mkdir -p "/wheretostore/$DATE_PART"
cd "/wheretostore/$DATE_PART"
wget "http://www.xxxxxx.com/$DATE_PART/myfile.csv"

您可以从调用此脚本。

如果您在linux上,您可以在
.sh
脚本中使用类似的内容:

DATE_PART=`date +%Y/%m/%d`
mkdir -p "/wheretostore/$DATE_PART"
cd "/wheretostore/$DATE_PART"
wget "http://www.xxxxxx.com/$DATE_PART/myfile.csv"

您可以从中调用此脚本。

您的操作系统是什么?你能使用bash和wget吗?你的操作系统是什么?你能使用bash和wget吗?谢谢,我在windows7上,但会研究在虚拟机上使用linux,并尝试一下。我假设如果它查找一个周末日期,它将返回一个错误,但在我确定它后将继续执行?如果找不到文件,脚本将正常结束,没有问题。我不认为我会为此安装VM。您可以使用几行java或go来实现这一点。我只是不知道如何在windows上配置类似cron的工具,我不知道(我主要使用linux)。您可以尝试使用[powershell]或[Windows]等标签来细化初始问题,但您可能需要提出另一个非常具体的问题,如“如何在powershell上规划web抓取,就像在linux上使用cron和wget一样?”。好的,谢谢。作为一个分支,你实际上让我对linux非常感兴趣,并且我已经开始学习一些基本的bash脚本——所以谢谢!我只是碰巧遇到了powershell,想知道这是否可以做到。找到了一本手册[o'reilly cookbooks],里面有一个如何下载网页的代码,我想我只是用一个条件循环来修改它。无论如何,再次谢谢你!谢谢,我在windows7上,但会研究在虚拟机上使用linux,并尝试一下。我假设如果它查找一个周末日期,它将返回一个错误,但在我确定它后将继续执行?如果找不到文件,脚本将正常结束,没有问题。我不认为我会为此安装VM。您可以使用几行java或go来实现这一点。我只是不知道如何在windows上配置类似cron的工具,我不知道(我主要使用linux)。您可以尝试使用[powershell]或[Windows]等标签来细化初始问题,但您可能需要提出另一个非常具体的问题,如“如何在powershell上规划web抓取,就像在linux上使用cron和wget一样?”。好的,谢谢。作为一个分支,你实际上让我对linux非常感兴趣,并且我已经开始学习一些基本的bash脚本——所以谢谢!我只是碰巧遇到了powershell,想知道这是否可以做到。找到了一本手册[o'reilly cookbooks],里面有一个如何下载网页的代码,我想我只是用一个条件循环来修改它。无论如何,再次谢谢你!