多线程大规模导入的Java框架

多线程大规模导入的Java框架,java,multithreading,frameworks,data-migration,Java,Multithreading,Frameworks,Data Migration,对于数据迁移项目(10mio行/天),我需要一个Java框架,它可以处理数据传输的多线程处理。 这些过程应该是可调度、可监控和动态配置的 我读了几篇关于如何通过一系列自己的实现来满足需求的文章,但我认为我可以避免使用现有的框架来重新发明轮子。 哪个框架是“最先进的”? 我读过关于Sprint集成的文章,但我的数据源是一个数据库,我认为没有机会采用事件驱动的方法 尽管这听起来像是一个ETL工具,但使用ETL是没有选择的。好的,我一直在寻找ApacheCamel。 查看更多详细信息。这个问题在这里看

对于数据迁移项目(10mio行/天),我需要一个Java框架,它可以处理数据传输的多线程处理。 这些过程应该是可调度、可监控和动态配置的

我读了几篇关于如何通过一系列自己的实现来满足需求的文章,但我认为我可以避免使用现有的框架来重新发明轮子。 哪个框架是“最先进的”? 我读过关于Sprint集成的文章,但我的数据源是一个数据库,我认为没有机会采用事件驱动的方法


尽管这听起来像是一个ETL工具,但使用ETL是没有选择的。

好的,我一直在寻找ApacheCamel。
查看更多详细信息。

这个问题在这里看起来非常离题,但我建议使用ApacheCamel。您可以在批记录处理或jdbc resultset行流式处理之间进行选择,并应用转换和保存数据所需的任何EIP。它也有很好的监控功能,有jmx和hawtio控制台。离题了吗?哦,为什么?不管怎么说,你的评论指向了我想要的方向。在查看apachecamel时,我喜欢一篇非常好的博客文章,它比较了集成模式领域的三个“开源大玩家”。