Python 2.7 如何加快postgresql中插入值的执行_Python 2.7

Python 2.7 如何加快postgresql中插入值的执行

python-2.7

Python 2.7 如何加快postgresql中插入值的执行,python-2.7,Python 2.7,我在.dat文件中有1000万条记录，我正在使用python脚本将它们加载到表中。但装载它们需要将近1个小时。插入1000万条记录将花费很长时间，但是您仍然可以通过使用python脚本将数据文件转换为与表结构相对应的CSV格式来加快插入速度。然后可以使用sql命令一次性将其加载到表中使用copy比1000万次插入快得多 data_input=open(ratingsfilepath,'r') for row in data_input: cur_load.execute("INSERT

我在.dat文件中有1000万条记录，我正在使用python脚本将它们加载到表中。但装载它们需要将近1个小时。插入1000万条记录将花费很长时间，但是您仍然可以通过使用python脚本将数据文件转换为与表结构相对应的CSV格式来加快插入速度。然后可以使用sql命令一次性将其加载到表中

使用copy比1000万次插入快得多

data_input=open(ratingsfilepath,'r')
for row in data_input:
   cur_load.execute("INSERT INTO "+ratingstablename+" VALUES (%s, %s, %s)", (row.split('::')[0],row.split('::')[1],row.split('::')[2]))