使用python向csv文件添加列标题，读取json

所以我有一个程序可以读取json，将其展平并转储csv：

import json
import unicodecsv as csv
import sys
import glob
import os
from flatten_json import flatten_json

def createcolumnheadings(cols):
    #create column headings
    columns = cols.keys()
    columns = list( set( columns ) )
    return columns

doOnce=True

path=os.chdir(sys.argv[1])

for f in glob.glob("smallR.txt"):
    fName=os.path.splitext(f)[0]
    out_file= open( 'csv/' + fName+'.csv', 'wb' )
    csv_w = csv.writer( out_file, delimiter="\t", encoding='utf-8'  )

    with open(f, 'r') as handle:
        for line in handle:   
            data = json.loads(line)        
            flatdata =flatten_json(data)             
            if doOnce:
                columns=createcolumnheadings(flatdata) 
                columns.insert(0,'racism')
                csv_w.writerow( columns)                
                doOnce=False
            flatdata['racism']= 0
            csv_w.writerow(flatdata.get(x, u'') for x in columns)

这工作正常，但有一个问题。 我的程序只是从smallR.txt的第一行获取列标题（加上一个“种族主义”列）

后面的一些数据（smallR.txt）有不同的列。这导致输出不完全正确，请参见small.csv

---

是否有一种简单的方法来调整我的程序以处理后面几行中的新列标题？

在这种情况下，您需要首先扫描整个文件，以便获得所有可能的列：

with open(f, 'r') as handle:
    data = [json.loads(line) for line in handle]

columns = ['racism'] + list({k for entry in data for k in entry.keys()})

csv_w.writerow(columns)
for entry in entries:
    csv_w.writerow(entry.get(c, '') for c in columns)

此加载内存中的所有数据。如果您不能接受，您可以读取文件两次：一次读取列，另一次读取和写入：

with open(f, 'r') as handle:
    columns = ['racism'] + list({k for line in handle for k in json.load(line).keys()})
csv_w.write(columns)

with open(f, 'r') as handle:
    for line in handle:
        entry = json.loads(line)
        csv_w.write(entry.get(c, '') for c in columns)

---

Flatte_json函数定义丢失，因此我只能猜测它的作用。

谢谢Javier，文件太大了，所以我将尝试第二种方法。Flatte_json是从