Python 通过boto3和pandas将多个S3前缀分区目录连接到DF?

Python 通过boto3和pandas将多个S3前缀分区目录连接到DF?,python,pandas,amazon-web-services,amazon-s3,boto3,Python,Pandas,Amazon Web Services,Amazon S3,Boto3,有没有办法通过boto3和pandas将包含csv文件的多个分区目录(按天)前缀连接到pandas数据帧中?多谢各位 # for example reading all prefixes in a s3 bucket folder like this: s3://my-bucket/datasets/csv-data/date="2020-01-01"/*.csv s3://my-bucket/datasets/csv-data/date="2020-01-02"/*.csv s3://my-

有没有办法通过boto3和pandas将包含csv文件的多个分区目录(按天)前缀连接到pandas数据帧中?多谢各位

# for example reading all prefixes in a s3 bucket folder like this:

s3://my-bucket/datasets/csv-data/date="2020-01-01"/*.csv
s3://my-bucket/datasets/csv-data/date="2020-01-02"/*.csv
s3://my-bucket/datasets/csv-data/date="2020-01-03"/*.csv
s3://my-bucket/datasets/csv-data/date="2020-01-04"/*.csv
s3://my-bucket/datasets/csv-data/date="2020-01-05"/*.csv
s3://my-bucket/datasets/csv-data/date="2020-01-06"/*.csv
适用于1前缀的当前代码

导入boto3
作为pd进口熊猫
s3=boto3.client(“s3”\
区域名称=区域名称\
aws\u访问\u密钥\u id=aws\u访问\u密钥\u id\
aws_secret_access_key=aws_secret_access_key)
response=s3.列出对象(Bucket=“my Bucket”\
前缀=“数据集/csv数据/date=2020-01-06/”)
df_列表=[]
对于响应中的文件[“内容”]:
obj=s3.get_对象(Bucket=“my Bucket”,Key=file[“Key”])
obj_df=pd.read_csv(obj[“Body”])
df_list.append(obj_df)
df=pd.concat(df_列表)