Python 获取头数据的子进程头与DictReader（获取文件头信息的最快方法）
我对从文件中提取列标题数据以供以后使用的最快方法感兴趣。下面我尝试了两种不同的方法：Subprocess/head和DictReader。结果是多个不同的量级Python 获取头数据的子进程头与DictReader（获取文件头信息的最快方法）,python,csv,subprocess,Python,Csv,Subprocess,我对从文件中提取列标题数据以供以后使用的最快方法感兴趣。下面我尝试了两种不同的方法：Subprocess/head和DictReader。结果是多个不同的量级 import subprocess from csv import DictReader def head_test(): pipe = subprocess.Popen(['head','-n','1','file_data.txt'],stdout=subprocess.PIPE, universal_newlines=Tr
import subprocess
from csv import DictReader
def head_test():
pipe = subprocess.Popen(['head','-n','1','file_data.txt'],stdout=subprocess.PIPE, universal_newlines=True)
for row in pipe.stdout:
fields = row.strip().split('\t')
def dictreader_test():
with open('file_data.txt') as f:
f_info = DictReader(f,delimiter='\t')
fields = f_info.fieldnames
def fopen_test():
with open('file_data.txt') as f:
fields = next(f).strip().split('\t')
def rstrip_test():
with open('file_data.txt') as f:
fields = next(f).rstrip().split('\t')
if __name__ == '__main__':
import timeit
print(timeit.timeit('head_test()', setup='from __main__ import head_test', number=10000))
print(timeit.timeit('dictreader_test()', setup='from __main__ import dictreader_test', number=100000))
print(timeit.timeit('fopen_test()', setup='from __main__ import fopen_test', number=100000))
print(timeit.timeit('rstrip_test()', setup='from __main__ import rstrip_test', number=100000))
34.6136500835
0.195073127747
1.85791897774
0.983640909195
0.973639011383
更新：在响应建议子流程的附加测试中添加。Popen实际上启动了一个外部程序。在Unices上，这意味着分叉进程并用另一个可执行文件覆盖子进程。这比仅仅读取一个文件的开销要大得多
DictReaderhead子进程。PopenDictReaderheadDictReaderfields = next(open('file_data.txt')).strip().split('\t')
open（）next（open（'file_data.txt'））DictReaderPopenfields = next(open('file_data.txt')).strip().split('\t')
open（）next（open（'file_data.txt'））DictReaderPopen使用open（'file_data.txt'）作为f:fields=next（f）.strip（）.split（'\t'）使用open（'csv.txt'，'rb'）作为f:names=f.readline（）.rstrip（）.split（'\t'）fcsv.reader（）打开（'file_data.txt'）时使用f:fields=next（f）.strip（）.split（'\t'）打开（'csv.txt'，'rb'））由于f:names=f.readline（）.rstrip（）.split（'\t'）fcsv.reader（）