Python 3.x 熊猫到_hdf()溢出警告
我需要将一个大数据帧保存到hdf5文件,因此我使用:Python 3.x 熊猫到_hdf()溢出警告,python-3.x,pandas,hdf5,Python 3.x,Pandas,Hdf5,我需要将一个大数据帧保存到hdf5文件,因此我使用: self.feature_concated.to_hdf(self.h5_result_name, key='feature_data', mode='a', format='table') 此时将显示运行时警告: F:\Anaconda3\lib\site-packages\tables\leaf.py:357: RuntimeWarning: overflow encountered in long_scalars expected\
self.feature_concated.to_hdf(self.h5_result_name, key='feature_data', mode='a', format='table')
此时将显示运行时警告:
F:\Anaconda3\lib\site-packages\tables\leaf.py:357: RuntimeWarning: overflow encountered in long_scalars
expected\u mb=(expectedrows*行大小)//mb
但当我不使用灵活格式的hdf时,它就不会有这样的问题
self.feature_concated.to_hdf(self.h5_result_name, key='feature_data', mode='a')
我想知道这个问题的原因是什么,我如何解决它?嗯,我在保存熊猫数据帧时收到了相同的消息:
RuntimeWarning: overflow encountered in long_scalars expected_mb = (expectedrows * rowsize) // MB
我已经解决了设置数字列的数据类型的问题:
df_book[["year","bnumber","cnumber","vnumber"]] = \
df_book[["year","bnumber","cnumber","vnumber"]].apply(pd.to_numeric)
在我的例子中,我以前知道这些类型。有人可以回答我的问题吗?这个警告肯定有问题,因为预期的\u mb>2^31。您是否尝试进入调试模式以跟踪问题。当你说大数据帧时,你能更具体一些(结构、大小)