Django 操作数百万条记录并使用取消和暂停选项保存回数据库的最佳方法是什么?

Django 操作数百万条记录并使用取消和暂停选项保存回数据库的最佳方法是什么?,django,multithreading,postgresql,python-2.7,Django,Multithreading,Postgresql,Python 2.7,我在Python2.7中使用Django。我有一张有数百万行的excel表格。我必须操作行数据并保存回数据库(postgresql)。我想有效地做这件事。以下是我想到的方法: 1.)将队列中的所有行(数据)排队(最好是RabbitMQ),并一次获取100个条目。并将执行和 将它保存在数据库中 2.)考虑在后台使用线程,每个线程将管理100行,并将结果保存回数据库。我不是 确定在此场景中将打开多少个数据库连接 你能给我一个有效的方法来实现这一点吗。这真的很有帮助 在这种情况下,如何实现取消和暂停逻

我在Python2.7中使用Django。我有一张有数百万行的excel表格。我必须操作行数据并保存回数据库(postgresql)。我想有效地做这件事。以下是我想到的方法:

1.)将队列中的所有行(数据)排队(最好是RabbitMQ),并一次获取100个条目。并将执行和 将它保存在数据库中

2.)考虑在后台使用线程,每个线程将管理100行,并将结果保存回数据库。我不是 确定在此场景中将打开多少个数据库连接

你能给我一个有效的方法来实现这一点吗。这真的很有帮助


在这种情况下,如何实现取消和暂停逻辑?我应该使用数据库吗?

为什么不直接将csv复制到postgres?我想这是我必须在每一行上操作的最快的方法通常流行的ETL方法是将csv复制到表中,并插入表中的select表单,添加逻辑以进行选择