如何解决python中的内存错误

我有2gb的csv文件要加载到python中，然后连接它们

在concat之后，它抛出了一个内存错误

---

有人能帮我解决这个问题吗，因为我必须经常使用这个数据框

很抱歉，我还不能在评论部分回复，但是要使用pandas从csv读取

作为pd进口熊猫 csv_data=pd.read_csvcsv_name.csv 导入csv reader=csv.readeropen'csv\u name.csv' def gen_chunksreader，chunksize=100： 区块生成器。拿一个CSV阅读器，让它 大块大小的切片。 区块=[] 对于i，枚举读取器中的行： 如果i%chunksize==0且i>0： 屈服块 删除块[：] chunk.appendline 屈服块 对于gen_chunksreader中的块： 打印区块处理区块 在某个伪序列上测试gen_块： 对于gen_chunksrange10中的chunksize=3： 打印区块处理区块

---

遇到类似问题并找到了替代解决方案，您可以使用库dask，例如：

---

使用pyspark加载数据。安装pyspark pip安装pysparkThanks以供回复如果你不介意有没有办法与pandas一起阅读，因为我是python新手，增加你机器的RAM可能会有帮助。我的机器有16gb的RAMI使用过这个，但不适用于更大的数据集。遇到了类似的问题并找到了替代解决方案，你可以使用库dask，例如

# Dataframes implement the Pandas API
import dask.dataframe as dd`<br>
df = dd.read_csv('s3://.../2018-*-*.csv')