Python 我可以使用分块将巨大的.csv文件转换为.ftr吗?

Python 我可以使用分块将巨大的.csv文件转换为.ftr吗?,python,pandas,dataframe,csv,feather,Python,Pandas,Dataframe,Csv,Feather,我有一个非常庞大的.csv数据集 我想将其转换为feather格式,以便更快地读/写 但我无法将整个.csv文件立即放入RAM内存 我正在考虑将.csv文件分块,然后将其存储为.ftr格式 但是如果我理解正确,你就不能附加到.ftr上,对吗 你将如何处理这个问题 我正在考虑将每个块保存到单独的.ftr文件中

我有一个非常庞大的
.csv
数据集

  • 我想将其转换为feather格式,以便更快地读/写
  • 但我无法将整个
    .csv
    文件立即放入RAM内存
  • 我正在考虑将
    .csv
    文件分块,然后将其存储为
    .ftr
    格式
  • 但是如果我理解正确,你就不能附加到
    .ftr
    上,对吗
  • 你将如何处理这个问题

    我正在考虑将每个块保存到单独的
    .ftr
    文件中