Python 3.x 文件大小太大

Python 3.x 文件大小太大,python-3.x,Python 3.x,我正在使用4gb的CSV文件制作ipython笔记本电脑。该文件是yelp数据集审阅文件。在panda的帮助下,该文件的加载时间太长 有没有使用其他方法的建议?你能分享一些你试图执行的代码,这些代码花费了太多的时间吗?如果文件大小相同,你需要一个数据库;缩写词大写。根据我的经验,保存为csv.gz(一次性任务),然后读入pandacsv.gz文件可以提高性能。更好的办法是另存为pkl或pkl.gz。

我正在使用4gb的CSV文件制作ipython笔记本电脑。该文件是yelp数据集审阅文件。在panda的帮助下,该文件的加载时间太长


有没有使用其他方法的建议?

你能分享一些你试图执行的代码,这些代码花费了太多的时间吗?如果文件大小相同,你需要一个数据库;缩写词大写。根据我的经验,保存为
csv.gz
(一次性任务),然后读入
panda
csv.gz文件可以提高性能。更好的办法是另存为
pkl
pkl.gz