Python 在熊猫中更新每日文件

Python 在熊猫中更新每日文件,python,pandas,Python,Pandas,我每天在几个文件上运行pandas代码,这些文件是.csv,并且总是只针对前一天的一个报告日期。我将这些原始文件从客户的网站下载到他们指定的文件夹中。然后,我打开ipython笔记本,对每个文件运行我的pandas修改。我手动编辑位置名称以匹配最新文件,并将其附加到我的运行/合并文件中 有没有一种方法可以让这一切自动化?pandas只能在最新修改日期或其他日期运行代码吗? 我可以创建一个每天运行我所有代码的代码吗?例如,打开文件1中的最新原始数据->根据需要修改->将其附加到合并文件->打开文件

我每天在几个文件上运行pandas代码,这些文件是.csv,并且总是只针对前一天的一个报告日期。我将这些原始文件从客户的网站下载到他们指定的文件夹中。然后,我打开ipython笔记本,对每个文件运行我的pandas修改。我手动编辑位置名称以匹配最新文件,并将其附加到我的运行/合并文件中

有没有一种方法可以让这一切自动化?pandas只能在最新修改日期或其他日期运行代码吗? 我可以创建一个每天运行我所有代码的代码吗?例如,打开文件1中的最新原始数据->根据需要修改->将其附加到合并文件->打开文件2中的最新原始数据->。。。
pandas已经为我节省了大量的时间,我过去常常在Excel中手动打开文件并将它们粘贴到下面,然后我学习了宏和一些加载项来将文件合并在一起,但也许我还可以学习更多的方法来进一步实现自动化。

在EC2上启动cron作业。您可以使用wget获取文件。如果文件名有一个模式,也就是说,这很容易。然后使用shell脚本获取昨天的文件,并在这些文件上运行相应的python脚本。或者,在python脚本开始时,您可以使用优秀的请求库获取所需的文件。仅供参考—存储数据的客户端网站也需要密码。wget可以添加密码吗?还有两个报告需要登录,还有一个下拉列表,我们必须从下拉列表中选择日期范围和报告类型,然后手动按下下载按钮。。我根本无法将此自动化