Python 从dict中删除双引号?
我有一个4.5GB的CSV文件,需要从中删除该文件。“。当前的记录可能类似于:Python 从dict中删除双引号?,python,json,python-2.7,csv,Python,Json,Python 2.7,Csv,我有一个4.5GB的CSV文件,需要从中删除该文件。“。当前的记录可能类似于: 47477209,11,HIST," CANCELLED",,,,,,,,47140495 但是,它需要如下所示: 47477209,11,HIST,CANCELLED,,,,,,,,47140495 否则,当我在spark中使用它作为DF时,它认为这是一个新记录 这是我当前在阅读CSV和写入JSON时所拥有的: f = open('changeset.csv', 'rb' ) reader = csv.Dic
47477209,11,HIST,"
CANCELLED",,,,,,,,47140495
但是,它需要如下所示:
47477209,11,HIST,CANCELLED,,,,,,,,47140495
否则,当我在spark中使用它作为DF
时,它认为这是一个新记录
这是我当前在阅读CSV
和写入JSON
时所拥有的:
f = open('changeset.csv', 'rb' )
reader = csv.DictReader(f)
jsonoutput = 'masterlist2.0.json'
with open(jsonoutput, 'w') as f:
for x in reader:
json.dump(x,f)
f.write('\n')
我在想你可以这样做
json.dump(x.replace('"', ''),f)
看起来您的问题不是
“
。您的问题可能是数据中的换行。由于这些原因,CSV编写器正在添加引号。您可以使用以下方法从第四个字段中删除换行符和其他周围空白:
for x in reader:
x[3] = x[3].strip()
json.dump(x, f)
f.write('\n')
按照您的建议进行直接角色替换将导致各种问题。例如,它还将替换转义的双引号。不要这样做。