Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/304.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何在python中将s3 bucket文件夹中的所有拼花文件的数据附加到单个数据帧中_Python_Pandas_Amazon S3_Parquet_S3 Bucket - Fatal编程技术网

如何在python中将s3 bucket文件夹中的所有拼花文件的数据附加到单个数据帧中

如何在python中将s3 bucket文件夹中的所有拼花文件的数据附加到单个数据帧中,python,pandas,amazon-s3,parquet,s3-bucket,Python,Pandas,Amazon S3,Parquet,S3 Bucket,在我的文件夹中,大约有10个具有相同列名的拼花文件。 我想将所有10个拼花文件数据附加到一个数据框中。 我使用了下面的代码,但dataframe只有第一个文件数据 s3 = s3fs.S3FileSystem() complete_path="s3://s3bucket/folder_path df=pq.ParquetDataset(complete_path,filesystem=s3).read_pandas(). to_pandas() 有人能帮我吗。首先,您需要

在我的文件夹中,大约有10个具有相同列名的拼花文件。 我想将所有10个拼花文件数据附加到一个数据框中。 我使用了下面的代码,但dataframe只有第一个文件数据

s3 = s3fs.S3FileSystem()
complete_path="s3://s3bucket/folder_path
df=pq.ParquetDataset(complete_path,filesystem=s3).read_pandas().
           to_pandas()

有人能帮我吗。

首先,您需要获取存储桶路径中存在的文件列表,使用boto3 s3客户端分页来列出所有文件或密钥。一旦有了所需文件的列表,只需逐个读取它们并将df放入列表中,然后将它们合并到单个DFT中以供注释。我是aws的新手,你能帮我介绍一下如何使用boto3sure列出所有文件的代码吗?到目前为止你都尝试了什么?我已经尝试了我在问题中提到的上述代码。建议你研究一下这些-,