从MongoDB到Teradata的数据迁移

我们正在努力将数据从MongoDB迁移到Teradata（DW）

我们认为对数据进行转换是必要的

您能否帮助我回答以下问题，这些问题将指导我们开发迁移解决方案：

考虑到所涉及的转换，从MongoDB导出数据并加载到Teradata（DW）中，哪种格式是最好、最有效的格式？（CSV/JSON/Others）

转换可能包括省略导出文件中的行、省略字段、跨字段聚合（总和/计数）等

如果开发ETL框架，Java会是一个好的选择吗

我们注意到“\n”[换行符]也是某些记录的一部分。因此，在csv中，我们看到一些空白行

我们需要关注右行分隔符吗？或者出口格式在这方面能帮助我们吗

我们看到一些记录被截断，因为记录的长度超过1024个字符

---

我们在VI编辑器中得到“行太长”的消息。我们的系统中没有备用编辑器。有办法处理行截断吗？

CSV没有特别明确的规定-在野外有几种不同的类型，其转义行为略有不同。除了csv，我几乎总是喜欢任何东西

JSON

对

这不是问题，但没关系

不要用vi编辑数据，这纯粹是编辑器的限制，而不是导出格式。以编程方式进行转换