Python 如何将S3部件文件读入数据帧

我已经将数据从红移卸载到S3，卸载后我得到了xx_0000_part_00多个文件

现在我想把这些文件读入数据帧

我该怎么做

谢谢，

---

Som

您必须使用

aws s3 cp

指挥部。在本地获得文件后，只需通过pandas库读取即可

import pandas as pd
df = pd.read_csv('/file-path/filename')

PS-S3部件文件只是一个带有所选分隔符的常规csv文件。

---

如果我做了一个错误的假设，请评论，我将重新关注我的答案。

您必须使用

aws s3 cp

指挥部。在本地获得文件后，只需通过pandas库读取即可

import pandas as pd
df = pd.read_csv('/file-path/filename')

PS-S3部件文件只是一个带有所选分隔符的常规csv文件。

---

如果我做了一个错误的假设，请评论，我将重新关注我的答案。

如果您想从redshift获取数据到pandas或从pandas获取数据到redshift，请使用此软件包：

---

如果要将数据从redshift获取到pandas或将数据从pandas获取到redshift，请使用此软件包：