如何从pyarrow或pandas加载modin数据帧

如何从pyarrow或pandas加载modin数据帧,pyarrow,modin,Pyarrow,Modin,由于Modin不支持从s3上的多个pyarrow文件加载数据,因此我使用pyarrow来加载数据 导入S3F 将modin.pandas作为pd导入 从pyarrow导入拼花地板 s3=s3fs.s3文件系统( 键=aws_键, 秘密 ) 表=拼花地板。拼花地板数据集( path_或_paths=“s3://bucket/path”, filesystem=s3, ).读( 列=[“hotelId”、“startDate”、“endDate”] ) #要想得到熊猫df,下一步是table.to

由于Modin不支持从s3上的多个pyarrow文件加载数据,因此我使用pyarrow来加载数据


导入S3F
将modin.pandas作为pd导入
从pyarrow导入拼花地板
s3=s3fs.s3文件系统(
键=aws_键,
秘密
)
表=拼花地板。拼花地板数据集(
path_或_paths=“s3://bucket/path”,
filesystem=s3,
).读(
列=[“hotelId”、“startDate”、“endDate”]
)
#要想得到熊猫df,下一步是table.to_pandas()
如果我想把数据放在Modin df中进行并行计算,而不必向csv写入和读取数据?有没有一种方法可以直接从pyarrow.Table或至少从pandas数据帧构造Modin df