在python中加速genfromtxt
我有几个包含数据的大型文本文件(每个文件约1 GB),如下所示:在python中加速genfromtxt,python,numpy,Python,Numpy,我有几个包含数据的大型文本文件(每个文件约1 GB),如下所示: name name name name value - value value value value value value value - - value 文本文件通过numpy.genfromtxt读取。我的问题是它真的很慢。问题不在于文件输入本身(我正在用mmap将其映射到内存中,这只需约2秒钟,但随后用genfromtxt进行的处理速度非常慢。我能做些什么来加快这一速度?我曾想过通过将数据分割成几个较小的片段来
name name name name
value - value value
value value value value
value - - value
文本文件通过
numpy.genfromtxt
读取。我的问题是它真的很慢。问题不在于文件输入本身(我正在用mmap
将其映射到内存中,这只需约2秒钟,但随后用genfromtxt
进行的处理速度非常慢。我能做些什么来加快这一速度?我曾想过通过将数据分割成几个较小的片段来并行处理进程,但为此我必须先读取文件,然后对其进行compl处理。)首先,然后在每个块上运行genfromtxt
。有没有更快的方法?尝试pandas.read\u csv()
更快。@BasSwinckels的可能重复:它不是完全重复,因为这个问题更关注于加快genfromtxt
,而不是阅读本身。。。