在python中加速genfromtxt

在python中加速genfromtxt,python,numpy,Python,Numpy,我有几个包含数据的大型文本文件(每个文件约1 GB),如下所示: name name name name value - value value value value value value value - - value 文本文件通过numpy.genfromtxt读取。我的问题是它真的很慢。问题不在于文件输入本身(我正在用mmap将其映射到内存中,这只需约2秒钟,但随后用genfromtxt进行的处理速度非常慢。我能做些什么来加快这一速度?我曾想过通过将数据分割成几个较小的片段来

我有几个包含数据的大型文本文件(每个文件约1 GB),如下所示:

name name name name  
value - value value  
value value value value
value - - value

文本文件通过
numpy.genfromtxt
读取。我的问题是它真的很慢。问题不在于文件输入本身(我正在用
mmap
将其映射到内存中,这只需约2秒钟,但随后用
genfromtxt
进行的处理速度非常慢。我能做些什么来加快这一速度?我曾想过通过将数据分割成几个较小的片段来并行处理进程,但为此我必须先读取文件,然后对其进行compl处理。)首先,然后在每个块上运行
genfromtxt
。有没有更快的方法?

尝试
pandas.read\u csv()
更快。@BasSwinckels的可能重复:它不是完全重复,因为这个问题更关注于加快
genfromtxt
,而不是阅读本身。。。