Python 基于日期存储在目录中的数据。如何获取从date1到date2的所有数据?
我有一个python应用程序,它将通过jsonpicke将大量数据存储为自定义python对象 目前,我的项目有一个具有以下结构的数据文件:Python 基于日期存储在目录中的数据。如何获取从date1到date2的所有数据?,python,directory,dataset,Python,Directory,Dataset,我有一个python应用程序,它将通过jsonpicke将大量数据存储为自定义python对象 目前,我的项目有一个具有以下结构的数据文件: .... data/ year/ ... month/ ... day/ ... A/ data_file_1 ...
....
data/
year/
...
month/
...
day/
...
A/
data_file_1
...
data_file_n
B/
data_file_1
...
data_file_n
在这里,我只是将多个潜在的dir或文件表示为“…”
我希望我的用户能够指定一个开始日期和结束日期,我将从中解析所有数据
目前,我的数据集非常小,所以移动它是没有问题的。此外,数据不需要是人类可读的,因此在这个阶段,任何格式都不重要
是否有一种更简单的方法来存储这些数据,以便在需要时随时获取数据,并在必要时进行更新。另一个库、包还是更好的目录布局
如果没有,我的问题就更具体一点
到目前为止,我的解决方案是:
导入操作系统
...
def get_数据(路径、日期、数据):
"""
@参数路径:str表示
正在搜索的当前路径。
@参数日期:元组列表
表示(最小、最大)日期
待考虑
@参数数据:空列表,已使用
用于收集
文件夹。
"""
如果len(dates)使用datetime
对象来表示日期,则使用日增量
伪代码:
import os.path
import datetime
def f(t0, t1):
t = t0
while t != t1:
day_path = os.path.join(t.year, t.month, t.day)
if os.path.exists(day_path):
# Do what you need inside the day dir.
t += datetime.timedelta(days=1)
import os.path
import datetime
def f(t0, t1):
t = t0
while t != t1:
day_path = os.path.join(t.year, t.month, t.day)
if os.path.exists(day_path):
# Do what you need inside the day dir.
t += datetime.timedelta(days=1)