Python 跨django数据库移动大型数据集

将大型数据集从一个django数据库移动到另一个django数据库的最佳方法是什么

---

我希望在高级别（django）而不是数据库级别执行此操作。我所知道的所有现有工具（dumpdata/loaddata、serializer类、django扩展）都在内存中，因此它不会处理大型数据集。

我发现这篇文章非常有用-。

我对几个应用程序/数据库也有同样的问题，所以编写了这个脚本，它是django dumpdata的分支，但将数据转储为块以避免内存错误

脚本可在

用法示例：

1） 将数据转储到多个文件中：

mkdir some-folder

./manage.py dumpdata_chunks your-app-name
--output-folder=./some-folder --max-records-per-chunk=100000

2） 从文件夹加载数据：

find ./some-folder | egrep -o "([0-9]+_[0-9]+)" | xargs ./manage.py loaddata

---

星号和+1'd。我觉得这很有趣！这篇文章很好——回答了我在使用大型数据库加载/转储数据时遇到的内存错误问题。