按列拆分大型CSV文件

按列拆分大型CSV文件,csv,split,large-files,Csv,Split,Large Files,我有一个非常大(4gb)的csv文件。无法在excel或其他编辑器中打开。行数(行)接近3000,列数接近320000 一种解决方案是将原始文件拆分为较小的文件,并能够在Excel或其他编辑器中打开这些较小的文件 第二种解决方案是对原始数据进行转置,然后在Excel中打开它 我找不到用于转置的工具或脚本。我已经找到了一些用于拆分的脚本和免费软件,但它们每个都按行大小拆分csv 是否有办法将原始文件拆分为最大15000行的较小文件 我尝试使用: 作为pd导入熊猫 pd.read_csv(%file

我有一个非常大(4gb)的csv文件。无法在excel或其他编辑器中打开。行数(行)接近3000,列数接近320000

一种解决方案是将原始文件拆分为较小的文件,并能够在Excel或其他编辑器中打开这些较小的文件

第二种解决方案是对原始数据进行转置,然后在Excel中打开它

我找不到用于转置的工具或脚本。我已经找到了一些用于拆分的脚本和免费软件,但它们每个都按行大小拆分csv

是否有办法将原始文件拆分为最大15000行的较小文件

我尝试使用:

作为pd导入熊猫 pd.read_csv(%file Path%).T.to_csv(“%new file Path%,headre=false)


但是要花很长时间才能完成

与此同时,我厌倦了使用一些python编码,但由于内存问题,所有这些编码都失败了


定界()的试用版完美地处理了数据。

第二种解决方案是采用转置
。。。这根本不会改变数据集的大小,而且它可能仍然无法在Excel中打开。即使是这样,也要期待真正缓慢的性能。您处理这些数据的目标是什么?你有没有考虑过使用R或Matlab之类的工具?数据集包含遗传信息。列将SNP存储为rs id,行包含该SNP的所有更改。我想过滤那些SNP。将SNP的数量从300000减少到900