Python 3.x 我将图像ID的键值对作为键,numpy数组(24366366)作为值。什么';高效保存此数据的最佳方法是什么?

Python 3.x 我将图像ID的键值对作为键,numpy数组(24366366)作为值。什么';高效保存此数据的最佳方法是什么?,python-3.x,tensorflow2.0,Python 3.x,Tensorflow2.0,我已经尝试使用np.save和pickle保存1000个键值对实例。两者都倾向于大到6.9 GB。但我总共有44k个这样的键值对实例。这将需要永远的时间来拯救。有没有压缩和保存数据的方法?如果您想在生产中使用数据库,或者您想加快速度,请使用数据库。卡桑德拉是如此的强大,但这是小数据,你可以使用什么,你想用的数据库。也要检查redis,但在任何持久数据库中都需要stor。如果只是想用于测试使用您是否尝试过使用轻量级数据库来存储这些数据,如MySQL或PostgreSQL。否,将numpy数组保存到

我已经尝试使用np.save和pickle保存1000个键值对实例。两者都倾向于大到6.9 GB。但我总共有44k个这样的键值对实例。这将需要永远的时间来拯救。有没有压缩和保存数据的方法?

如果您想在生产中使用数据库,或者您想加快速度,请使用数据库。卡桑德拉是如此的强大,但这是小数据,你可以使用什么,你想用的数据库。也要检查redis,但在任何持久数据库中都需要stor。如果只是想用于测试使用

您是否尝试过使用轻量级数据库来存储这些数据,如MySQL或PostgreSQL。否,将numpy数组保存到数据库中是否也有意义?