pentaho可以迁移的最大数据量是多少

我正在使用Pentaho数据集成工具迁移数据库

Pentaho data integration
version: 7.0
Build date: Nov 5 2016

我已将数据迁移到
从ms sql server到mysql的25mb数据。
我只是想知道使用Pentaho可以迁移的最大值是多少。

---

当我将内存调出界限时，错误

PDI使用流模型，其中新记录仅在下一步的缓冲区允许时输入，因此对于大多数操作没有限制。我定期传输许多GB的数据，没有任何问题

从逻辑上讲，有一些步骤需要将所有行读取到内存中，但是您要做的是更高级的转换，而不仅仅是迁移

---

在一次运行中执行非常大的传输时，可能会遇到空闲超时。例如，如果目标MySQL因写操作而过载，PDI可能会等待很长时间，然后从MS SQL请求下10000行，并且MS SQL或两者之间的防火墙会重置连接。您可以通过先将数据写入临时文件（非常快），然后使用批量加载程序步骤从文件加载到MySQL来解决此问题。

PDI使用流式模型，其中新记录仅在后续步骤的缓冲区允许时输入，因此对于大多数操作来说没有限制。我定期传输许多GB的数据，没有任何问题

从逻辑上讲，有一些步骤需要将所有行读取到内存中，但是您要做的是更高级的转换，而不仅仅是迁移

---

在一次运行中执行非常大的传输时，可能会遇到空闲超时。例如，如果目标MySQL因写操作而过载，PDI可能会等待很长时间，然后从MS SQL请求下10000行，并且MS SQL或两者之间的防火墙会重置连接。您可以通过先写入临时文件（非常快），然后使用批量加载步骤从文件加载到MySQL来解决此问题。

因此，这将适用于enterprisis和免费版PDIYes，据我所知，这两个版本的引擎都是相同的。我的经验是CE，所以EE会更好。所以这将适用于enterprisis和PDIYes的免费版本，据我所知，这两个版本的引擎是相同的。我的经验是CE，所以如果有更好的，EE会的。