Plugins pentaho插件中步骤之间的数据丢失

我面临一个奇怪的问题，即当以高速推进时，在转换步骤之间丢失数据。细节是，我们需要通过我们的自定义算法找到副本。由于记录的数量可能很大（几百万），我们临时将整个记录作为文档写入lucene索引。然后在应用该算法后，找到重复集并将其写入另一个lucene索引。现在，要推送到下一步的所有记录都可以在lucene索引中作为文档使用。然后在循环中使用putRow方法推送数据。由于数据被高速推送，我们发现在下一步中没有完全接收到行。数据丢失是一致的，丢失的记录和字段是随机的。当使用50-100毫秒的Thread.sleep时，我们将在下一步接收整个数据。最大的担忧是数据丢失不会以任何方式被捕获或发出警报。现在我的问题是

将数据放入putRow是否确保将记录发送到下一步

如果没有，如何确保在后续步骤中正确接收数据

---

我们非常感谢您在这方面提供的任何帮助。如果需要，我可以提供代码。

对于第二点，您可以在两个步骤之间使用“添加值字段更改顺序”步骤，并调试是否发生数据丢失。事实上，我在这之后添加了自定义插件，并尝试打印行数据。数据的丢失是一致和肯定的。