使用Spring进行数据迁移

使用Spring进行数据迁移,spring,spring-data,spring-integration,spring-batch,Spring,Spring Data,Spring Integration,Spring Batch,我们正在公司内部开始重新设计系统的过程。 这项工作的一个关键组成部分是一个新的数据模型,它更好地满足了我们的需求。 工作初始阶段的一个主要部分是设计和构建数据迁移工具。 这将从一个或多个现有系统获取数据,并将其迁移到新模型。 一些要求: 将数据转换为新模型 使用默认值或根据业务规则丰富数据 与现有系统集成以提取数据 与正在引入公司的Salesforce CRM集成 关于失败的日志记录和通知 在Spring世界中,哪一个是最好的Spring项目,可以用作此类数据迁移工具的底层框架 我最初的想法是使

我们正在公司内部开始重新设计系统的过程。 这项工作的一个关键组成部分是一个新的数据模型,它更好地满足了我们的需求。 工作初始阶段的一个主要部分是设计和构建数据迁移工具。 这将从一个或多个现有系统获取数据,并将其迁移到新模型。 一些要求:

  • 将数据转换为新模型
  • 使用默认值或根据业务规则丰富数据
  • 与现有系统集成以提取数据
  • 与正在引入公司的Salesforce CRM集成
  • 关于失败的日志记录和通知
  • 在Spring世界中,哪一个是最好的Spring项目,可以用作此类数据迁移工具的底层框架

    我最初的想法是使用Spring集成来实现该工具。 这将:

  • 通过XML或DSL,允许查看、理解和编辑高级数据流(可能使用可视化工具,如STS插件)。能够以这种方式查看高水位流量是一大优势
  • 用于处理不同数据源的连接器
  • 将构建用于迁移数据格式的Transformers组件
  • 路由器将新模型中的数据路由到与系统连接的端点
  • 但是,是否还有其他Spring项目,如Spring数据或Spring批处理,更符合需求


    非常感谢您的反馈和想法。

    我当然会从spring integration开始,它公开了您列出的大多数/所有需求的核心部分的基本实现。 它也是一个非常出色的问题建模工具,可以帮助您更好地理解问题,然后在一个内聚的集成流中设想其实现 稍后,一旦您清楚地了解了事情是如何运作的,通过引入您提到/标记的“其他框架”并添加#spring cloud data flow和#spring cloud stream,将其提升到下一个级别将是非常简单的


    总的来说,这个问题相当广泛,所以请考虑下面的指针,开始并提出更具体的问题。

    < P>我肯定会从Spring集成开始,它公开了裸露的实现,这是您列出的大多数/所有需求的核心。 它也是一个非常出色的问题建模工具,可以帮助您更好地理解问题,然后在一个内聚的集成流中设想其实现 稍后,一旦您清楚地了解了事情是如何运作的,通过引入您提到/标记的“其他框架”并添加#spring cloud data flow和#spring cloud stream,将其提升到下一个级别将是非常简单的


    总的来说,这个问题是相当广泛的,所以请考虑下面的指针,开始并提出更具体的问题。

    我不想污染答案,因为没有什么可以添加到你所有的正确点。只有一句话:您可以将所有这些项目组合在一起。基于Spring数据的Spring集成中有许多通道适配器。Spring批处理确实可以在您的解决方案中用于某些加载任务。springbatch和springintegration之间还有一个联系:我不想弄脏答案,因为没有什么可以添加到所有正确的点上。只有一句话:您可以将所有这些项目组合在一起。基于Spring数据的Spring集成中有许多通道适配器。Spring批处理确实可以在您的解决方案中用于某些加载任务。Spring批处理和Spring集成之间也有联系: