Apache spark 阿克卡河vs火花河

Apache spark 阿克卡河vs火花河,apache-spark,akka-stream,Apache Spark,Akka Stream,使用akka流与spark流进行流处理的优缺点是什么?比如,内置背压、性能、容错性、内置转换、灵活性等。我不是在问akka vs spark的优缺点。我也不是在问引擎盖框架下的架构差异。Akka Streams和Spark Streams来自两个不同的地方。不要让“流”这个词把你弄糊涂 Akka streams实现了一种称为“反应性宣言”的东西,它非常适合实现真正低的延迟,并提供了许多操作符来轻松地在流上编写声明性转换。更多关于这方面的信息 Spark Streaming(从2.2开始的结构化流

使用akka流与spark流进行流处理的优缺点是什么?比如,内置背压、性能、容错性、内置转换、灵活性等。我不是在问akka vs spark的优缺点。我也不是在问引擎盖框架下的架构差异。

Akka Streams和Spark Streams来自两个不同的地方。不要让“流”这个词把你弄糊涂

Akka streams实现了一种称为“反应性宣言”的东西,它非常适合实现真正低的延迟,并提供了许多操作符来轻松地在流上编写声明性转换。更多关于这方面的信息

Spark Streaming(从2.2开始的结构化流媒体)仍然是一种处理大量数据(大数据)的微批量方法。每隔几秒钟收集事件,然后定期进行小批量处理

与Spark不同,Akka streams基本上不是分布式的,也不会跨集群扩展。Akka streams使用Akka的参与者模型来实现并发

Akka streams是一个工具包,Spark是一个框架。
PS:几个月前我也有同样的问题。我花了一段时间才得到答案。希望对您有所帮助。

非常肯定Spark是在Akka上构建的,因此您可以通过Spark获得更简洁的语法、更友好的用户体验、内置的容错功能(管理器等),以及更多的功能。如果你有一个更定制的需求,比如在单个集群上运行不同的演员/流的不同的工作,你应该考虑Akka以上的火花。否则,更多的功能可能是一件好事。这是一个更一般的答案。我相信Spark在1.5秒后离开了Akka。有一件事是不合理的,为什么akka不能扩展,切分在这里不起作用?我不知道akka中是否有切分的概念,但akka远程处理是akka项目的一部分,可以用来在机器上启动akka参与者。akka肯定提供了一套丰富的工具来构建分布式系统,这就是akka集群构建的目的,请参阅以了解更多信息。