在Python中将数据导入Namedtuple

在Python中将数据导入Namedtuple,python,csv,import,namedtuple,large-data,Python,Csv,Import,Namedtuple,Large Data,我正在尝试将数据导入namedtuple。数据非常大,我需要高效地导入它。我正在努力 myData = namedtuple('myData', 'div, name, val') csv.register_dialect('mycsv', delimiter='\t', quoting=csv.QUOTE_NONE) with open('demand.txt', 'rb') as f: reader = csv.reader(f,'mycsv') 在此之后: 要将deman

我正在尝试将数据导入namedtuple。数据非常大,我需要高效地导入它。我正在努力

myData = namedtuple('myData', 'div, name, val')

csv.register_dialect('mycsv', delimiter='\t', quoting=csv.QUOTE_NONE)

with open('demand.txt', 'rb') as f:
     reader = csv.reader(f,'mycsv')
在此之后:

  • 要将demand.txt中的整个表批量导入到namedtuple中,我应该怎么做?我看到一些使用for循环的解决方案,但我想这是低效的

  • 我希望能够获得字段下的所有值,比如键入data.div?正确的格式应该是namedtuples的元组吗


要获取myData元组列表,请执行以下操作:

data = map(myData._make, reader) # or [myData._make(r) for r in reader]
要获取特定字段的所有值,请执行以下操作:

from operator import attrgetter
data_divs = map(attrgetter('div'), data) # or [r.div for r in data]
但是,如果您关心效率,您应该知道,使用namedtuples的属性访问比索引访问慢几倍。这将更快:

from operator import itemgetter
div_idx = myData._fields.index('div')
data_divs = map(itemgetter(div_idx), data) # or [r[div_idx] for r in data]

两者都产生相同的值列表。

请参阅下面使用namedtuple的示例代码片段

from csv import reader
from collections import namedtuple

saleRecord = namedtuple('saleRecord','shopId saleDate totalSales totalCustomers')
fileHandle = open("salesRecord.csv","r")
csvFieldsList=csv.reader(fileHandle)
for fieldsList in csvFieldsList:
    shopRec = saleRecord._make(fieldsList)
    overAllSales += shopRec.totalSales;

print("Total Sales of The Retail Chain =",overAllSales)
请参阅我博客中关于Python集合的文章:

希望这有帮助