Python psycopg2-处理大数据

Python psycopg2-处理大数据,python,postgresql,docker,psycopg2,Python,Postgresql,Docker,Psycopg2,我正试图使用docker上的python/psycopg2将一个大型数据(15B)从一个数据库(postgresql)传输到另一个数据库。我的docker有4GB内存,内存不足 我做错了什么 cursor = conn.cursor() cursor.execute('select * from schema.table') for row in cursor: tp = tuple(map(lambda x: x.encode('utf-8'), row) cursor.execu

我正试图使用docker上的python/psycopg2将一个大型数据(15B)从一个数据库(postgresql)传输到另一个数据库。我的docker有4GB内存,内存不足

我做错了什么

cursor = conn.cursor()
cursor.execute('select * from schema.table')
for row in cursor:
   tp = tuple(map(lambda x: x.encode('utf-8'), row)
   cursor.execute('Insert into table2 values {}'.format(tp))
   conn.commit()
使用


请看这里:。希望能有帮助。谢谢。但我的问题是游标,也就是把所有的数据放到内存中。这就解决了问题。谢谢对于数据流,我必须做什么?
f = open('t.txt', 'wb')
conn = psycopg2.connect(database='source_db') 
cursor = conn.cursor() 
cursor.copy_to(f, 'source_table')
conn.close()
f.close()

f = open('t.txt', 'r')
conn = psycopg2.connect(database='target_db') 
cursor = conn.cursor() 
cursor.copy_from(f, 'target_table')
conn.close()
f.close()