Python 将数据帧导出为数据帧格式以作为参数传递到下一个程序

Python 将数据帧导出为数据帧格式以作为参数传递到下一个程序,python,pandas,dataframe,export,Python,Pandas,Dataframe,Export,我对数据集执行了某些计算,我需要将结果存储在外部文件中 如果是CSV,为了进一步处理它,我必须再次转换为Dataframe/SFrame,这再次增加了代码行数 以下是片段: train_data = graphlab.SFrame(ratings_base) 显然,它位于SFrame中,可以使用 df_train = train_data.to_dataframe() 现在它在DFrame中,我需要将它导出到一个文件中,而不改变它的结构。因为导出的文件将用作另一个python代码的参数。该代

我对数据集执行了某些计算,我需要将结果存储在外部文件中

如果是CSV,为了进一步处理它,我必须再次转换为Dataframe/SFrame,这再次增加了代码行数

以下是片段:

train_data = graphlab.SFrame(ratings_base)
显然,它位于SFrame中,可以使用

df_train = train_data.to_dataframe()
现在它在DFrame中,我需要将它导出到一个文件中,而不改变它的结构。因为导出的文件将用作另一个python代码的参数。该代码必须接受DFrame而不是CSV

我已经在、和退房了

另外,如果有人能简化的话,我仍在挖掘Python序列化
它在上下文中会很有帮助

我会使用HDFS格式,因为它由
Pandas
graphlab.SFrame
支持,除此之外,HDFS格式非常快

或者,您可以将Pandas.DataFrame导出到Pickle文件,并从其他脚本读取该文件:

sf.to_dataframe().to_pickle(r'/path/to/pd_frame.pickle')
要(从同一脚本或另一脚本)读回该脚本,请执行以下操作:


我会使用HDFS格式,因为它由
Pandas
graphlab.SFrame
支持,除此之外,HDFS格式非常快

或者,您可以将Pandas.DataFrame导出到Pickle文件,并从其他脚本读取该文件:

sf.to_dataframe().to_pickle(r'/path/to/pd_frame.pickle')
要(从同一脚本或另一脚本)读回该脚本,请执行以下操作:


现在还不清楚你到底想要实现什么。如果您有一个数据帧,为什么需要将其导出到另一个数据帧?“我需要将结果存储在外部文件中”您尝试过pickle吗?@DeepSpace我需要将数据帧存储到外部文件中,就像csv那样。然后,该外部文件计划用于其他程序,以参数形式给出。我希望这澄清了疑问。现在还不清楚你到底想达到什么目的。如果您有一个数据帧,为什么需要将其导出到另一个数据帧?“我需要将结果存储在外部文件中”您尝试过pickle吗?@DeepSpace我需要将数据帧存储到外部文件中,就像csv那样。然后,该外部文件计划用于其他程序,以参数形式给出。pickle是序列化的概念,但我想知道是否可以在参数中传递pickle文件。可能吗?如果是这样的话,我该如何解开它?@Tejas,答案中有一个例子:
df=pd.read\u pickle(r'/path/to/pd\u frame.pickle')
我对通过参数传递它表示怀疑。无论如何,我会试试看。非常感谢你的贡献。我有GraphLab的人气模型。有什么想法吗?我怎么泡菜?我对其进行了pickle处理,但在读取时返回错误,即
是目录
pickle是序列化的概念,但我想知道是否可以在参数中传递pickle文件。可能吗?如果是这样的话,我该如何解开它?@Tejas,答案中有一个例子:
df=pd.read\u pickle(r'/path/to/pd\u frame.pickle')
我对通过参数传递它表示怀疑。无论如何,我会试试看。非常感谢你的贡献。我有GraphLab的人气模型。有什么想法吗?我怎么泡菜?我对其进行了pickle处理,但在读取时返回错误,即
是一个目录