Spring批处理可以用于数据处理，还是只是一个ETL工具？
我试图在我的一个项目中使用SpringBatch，因为还有一个项目是基于SpringBatch的 然而，我读得越多，就越意识到SpringBatch与ApacheBeam或MapReduce不同，它只用于将相同的数据从一个地方传输到另一个地方，并使用一些类型映射，如varchar->string 然而，手头的任务需要一些处理，不仅需要类型映射和转换，还需要聚合和数据结构。Spring批处理可以用于数据处理，还是只是一个ETL工具？,spring,spring-batch,Spring,Spring Batch,我试图在我的一个项目中使用SpringBatch，因为还有一个项目是基于SpringBatch的 然而，我读得越多，就越意识到SpringBatch与ApacheBeam或MapReduce不同，它只用于将相同的数据从一个地方传输到另一个地方，并使用一些类型映射，如varchar->string 然而，手头的任务需要一些处理，不仅需要类型映射和转换，还需要聚合和数据结构。 Spring批处理可以用于数据处理，还是只是一个ETL工具 好吧，我不同意spring batch-仅用于将相同的数据从一个
Spring批处理可以用于数据处理，还是只是一个ETL工具 好吧，我不同意spring batch-仅用于将相同的数据从一个地方传输到另一个地方，并使用一些类型映射，如varchar->string 在该技术领域工作了4年，见证了该框架的发展 SpringBatch能够很好地处理数据、映射、所需的转换和数据聚合—SpringBatch绝对可以用于数据处理 作为一种开源技术，你将获得大量的阅读材料，像stackoverflow这样的论坛有大量的常见问题 对于扩展和并行，SpringBatch中有各种各样的体系结构，这将有助于提高性能 您可以在这里找到更多详细信息 如果您想监视您的作业，那么您可以使用-Spring-cloud-dateflow。 也可以使用AppDynamics进行监视 参考此博客- 使用SpringBatch的另一个优点是，您有很多标准预定义的读取器、处理器和写入器类型，它们支持文件、数据库、流等源 最重要的是，由于它是一个基于java的框架，您可以使用java完成所有可以完成的事情
我希望这会有所帮助。好吧，我不同意spring batch-仅用于将相同的数据从一个地方传输到另一个地方，并使用一些类型映射，如varchar->string 在该技术领域工作了4年，见证了该框架的发展 SpringBatch能够很好地处理数据、映射、所需的转换和数据聚合—SpringBatch绝对可以用于数据处理 作为一种开源技术，你将获得大量的阅读材料，像stackoverflow这样的论坛有大量的常见问题 对于扩展和并行，SpringBatch中有各种各样的体系结构，这将有助于提高性能 您可以在这里找到更多详细信息 如果您想监视您的作业，那么您可以使用-Spring-cloud-dateflow。 也可以使用AppDynamics进行监视 参考此博客- 使用SpringBatch的另一个优点是，您有很多标准预定义的读取器、处理器和写入器类型，它们支持文件、数据库、流等源 最重要的是，由于它是一个基于java的框架，您可以使用java完成所有可以完成的事情
我希望这能有所帮助。Spring Batch SB为我们提供了三个选项—E、T和L 然而，我们必须决定是否使用某人。如果个人/团队真的需要学习，如果他们不知道，这也是一个定量的决定。需要评估投资回报率。如果只是E或T或L，可能还有其他更简单的解决方案
如果我们只讨论Java，而这三种语言中的任何一种，就不需要SB。但是，如果您了解SB，那么在简单性方面，可伸缩性、监控、事务管理并行处理——所有这些都与SB齐头并进 春季批次SB为我们提供了三种——E、T和L 然而，我们必须决定是否使用某人。如果个人/团队真的需要学习，如果他们不知道，这也是一个定量的决定。需要评估投资回报率。如果只是E或T或L，可能还有其他更简单的解决方案
如果我们只讨论Java，而这三种语言中的任何一种，就不需要SB。但是，如果您了解SB，那么在简单性方面，可伸缩性、监控、事务管理并行处理——所有这些都与SB齐头并进 你下面的文章是不正确的，因为它把苹果和橙子作比较 然而，我读得越多，我就越意识到SpringBatch是一个非常有用的工具 与ApacheBeam或MapReduce不同，它仅用于传输 使用某种类型映射将相同的数据从一个位置移动到另一个位置，如 varchar->string 与ApacheBeam或MapReduce不同，SpringBatch不是一个引擎，而是一个编程框架。一个编程框架通常由两个主要组件组成——代码结构指南+API 因此，对Java开发人员的唯一限制是遵循Spring批处理程序结构指南，Spring批处理API的使用是可选的 Java开发人员可以自由地在这些组件中编写他或她希望编写的任何类型的逻辑—只有思想可以限制Java开发人员在这些组件中可以编写的内容。此外，一个工件可以与另一个工件集成 因此，我再次重申，springbatch是一个编程框架&不是一个引擎，也不是像Hadoop那样预先配置的软件，所以比较就像苹果和橙子 正如我已经说过的，Java开发人员可以通过仅受程序结构限制来开发任何类型的程序，但编写的逻辑没有限制 再说一个time-Spring批处理不是Informatica或Pentaho那样的ETL工具，而是使用Java和Spring的编程框架。开发人员可以随心所欲地发挥创造力
我开发了一个实时数据匹配作业，它需要使用ApacheLucene进行自由文本搜索，将我的编程融入到Spring批处理模型中 你下面的文章是不正确的，因为它把苹果和橙子作比较 然而，我读得越多，我就越意识到SpringBatch是一个非常有用的工具 与ApacheBeam或MapReduce不同，它仅用于传输 使用某种类型映射将相同的数据从一个位置移动到另一个位置，如 varchar->string 与ApacheBeam或MapReduce不同，SpringBatch不是一个引擎，而是一个编程框架。一个编程框架通常由两个主要组件组成——代码结构指南+API 因此，对Java开发人员的唯一限制是遵循Spring批处理程序结构指南，Spring批处理API的使用是可选的，但是Java开发人员可以自由地编写他或她希望在这些组件中编写的任何类型的逻辑—只有想法才能限制Java开发人员在这些组件中可以编写的内容。此外，一个工件可以与另一个工件集成 因此，我再次重申，springbatch是一个编程框架&不是一个引擎，也不是像Hadoop那样预先配置的软件，所以比较就像苹果和橙子 正如我已经说过的，Java开发人员可以通过仅受程序结构限制来开发任何类型的程序，但编写的逻辑没有限制 再说一个time-Spring批处理不是Informatica或Pentaho那样的ETL工具，而是使用Java和Spring的编程框架。开发人员可以随心所欲地发挥创造力
我开发了一个实时数据匹配作业，它需要使用ApacheLucene进行自由文本搜索，将我的编程融入到Spring批处理模型中 谢谢你的回复，这是一个很好的回复，也许你说的是真的。但关键是Spring批处理主要用于ETL，可以完成处理，但需要一些额外的努力，它并不是框架的要点，这是有效的观点吗？我会说是的，这是一个有效的观点-处理需要额外的努力-但是如果你知道任何好的基于java的处理框架-那么它可以很容易地与它集成-你会对批处理性能感到惊讶-只需查看InfoQ上的这个演示-感谢你的回复，这是一个很好的，可能你说的是真的。但关键是Spring批处理主要用于ETL，可以完成处理，但需要一些额外的努力，它并不是框架的要点，这是有效的观点吗？我会说是的，这是一个有效的观点-处理需要额外的努力-但是如果你知道任何好的基于java的处理框架-那么它可以很容易地与它集成-你会对批处理性能感到惊讶-只需查看InfoQ上的这个演示-