Fatal编程技术网
  • python-3.x/
  • Python 3.x 熊猫大数据帧到_pickle导致分段错误（内核转储）

Python 3.x 熊猫大数据帧到_pickle导致分段错误（内核转储）

python-3.x pandas

Python 3.x 熊猫大数据帧到_pickle导致分段错误（内核转储）,python-3.x,pandas,pickle,Python 3.x,Pandas,Pickle,我有一个大的数据框，我知道to_pickle会导致分割错误，而to_csv会很好，请问原因是什么 我使用的是python-3.6.4。生成的csv有多大？大约70G未压缩。我也遇到了同样的问题，发现我不能真正地对任何大于等于15GB的文件进行pickle，所以我采用了拆分的方法。我尝试切换到HDF5，但这似乎受到了这个问题的困扰：，这可能相关，也可能无关。我的大数据帧是连接许多较小数据帧的结果。非常奇怪的是，在将大df转储到csv中之后，然后用pd读回它。读取csv，然后到pickle工作。我很

我有一个大的数据框，我知道to_pickle会导致分割错误，而to_csv会很好，请问原因是什么

我使用的是python-3.6.4。

生成的csv有多大？大约70G未压缩。我也遇到了同样的问题，发现我不能真正地对任何大于等于15GB的文件进行pickle，所以我采用了拆分的方法。我尝试切换到HDF5，但这似乎受到了这个问题的困扰：，这可能相关，也可能无关。我的大数据帧是连接许多较小数据帧的结果。非常奇怪的是，在将大df转储到csv中之后，然后用
pd读回它。读取csv
，然后
到pickle
工作。我很好奇为什么。大数据上的
泡菜
也有同样的问题。。。