Python 基于日期存储在目录中的数据。如何获取从date1到date2的所有数据?

Python 基于日期存储在目录中的数据。如何获取从date1到date2的所有数据?,python,directory,dataset,Python,Directory,Dataset,我有一个python应用程序,它将通过jsonpicke将大量数据存储为自定义python对象 目前,我的项目有一个具有以下结构的数据文件: .... data/ year/ ... month/ ... day/ ... A/ data_file_1 ...

我有一个python应用程序,它将通过jsonpicke将大量数据存储为自定义python对象

目前,我的项目有一个具有以下结构的数据文件:

....
data/
    year/
     ...
        month/
        ...
            day/
            ...
                A/
                    data_file_1
                    ...
                    data_file_n
                B/
                    data_file_1
                    ...
                    data_file_n
在这里,我只是将多个潜在的dir或文件表示为“…”

我希望我的用户能够指定一个开始日期和结束日期,我将从中解析所有数据

目前,我的数据集非常小,所以移动它是没有问题的。此外,数据不需要是人类可读的,因此在这个阶段,任何格式都不重要

是否有一种更简单的方法来存储这些数据,以便在需要时随时获取数据,并在必要时进行更新。另一个库、包还是更好的目录布局

如果没有,我的问题就更具体一点

到目前为止,我的解决方案是:

导入操作系统
...
def get_数据(路径、日期、数据):
"""
@参数路径:str表示
正在搜索的当前路径。
@参数日期:元组列表
表示(最小、最大)日期
待考虑
@参数数据:空列表,已使用
用于收集
文件夹。
"""

如果len(dates)使用
datetime
对象来表示日期,则使用日增量

伪代码:

import os.path
import datetime
def f(t0, t1):
    t = t0
    while t != t1:
        day_path = os.path.join(t.year, t.month, t.day)
        if os.path.exists(day_path):
            # Do what you need inside the day dir.
        t += datetime.timedelta(days=1)
import os.path
import datetime
def f(t0, t1):
    t = t0
    while t != t1:
        day_path = os.path.join(t.year, t.month, t.day)
        if os.path.exists(day_path):
            # Do what you need inside the day dir.
        t += datetime.timedelta(days=1)