Apache flink 为什么ApacheFlink应用程序的并行执行比顺序执行慢?
我有一个ApacheFlink设置,有一个TaskManager和两个处理插槽。当我执行一个并行度设置为1的应用程序时,执行作业大约需要33秒。当我将并行度增加到2时,作业需要45秒才能完成Apache flink 为什么ApacheFlink应用程序的并行执行比顺序执行慢?,apache-flink,Apache Flink,我有一个ApacheFlink设置,有一个TaskManager和两个处理插槽。当我执行一个并行度设置为1的应用程序时,执行作业大约需要33秒。当我将并行度增加到2时,作业需要45秒才能完成 我在Windows机器上使用Flink,配置为10个计算内核(4C+6G)。我想用2个插槽获得更好的效果。我能做什么?像ApacheFlink这样的分布式系统被设计成在数百台机器上的数据中心中运行。它们不是为在一台计算机上并行计算而设计的。此外,弗林克针对的是大规模问题。在本地计算机上以秒为单位运行的作业不
我在Windows机器上使用Flink,配置为10个计算内核(4C+6G)。我想用2个插槽获得更好的效果。我能做什么?像ApacheFlink这样的分布式系统被设计成在数百台机器上的数据中心中运行。它们不是为在一台计算机上并行计算而设计的。此外,弗林克针对的是大规模问题。在本地计算机上以秒为单位运行的作业不是Flink的主要用例 并行化应用程序总是会导致开销。数据必须在进程和线程之间分布和共享。Flink通过序列化和反序列化跨TaskManager插槽分发数据。此外,启动和协调分布式任务也不是免费的
当在一台机器上用分布式系统扩展一个小规模问题时,观察到更长的执行时间就不足为奇了。您可以将应用程序移植到利用共享内存的线程并行应用程序 像ApacheFlink这样的分布式系统被设计为在数百台机器上的数据中心中运行。它们不是为在一台计算机上并行计算而设计的。此外,弗林克针对的是大规模问题。在本地计算机上以秒为单位运行的作业不是Flink的主要用例 并行化应用程序总是会导致开销。数据必须在进程和线程之间分布和共享。Flink通过序列化和反序列化跨TaskManager插槽分发数据。此外,启动和协调分布式任务也不是免费的
当在一台机器上用分布式系统扩展一个小规模问题时,观察到更长的执行时间就不足为奇了。您可以将应用程序移植到利用共享内存的线程并行应用程序 谢谢你的回复,费边。我想了解更多关于Flink的并行性。因此,当您谈到开销时,如何从性能方面描述它,如何确定它是否有助于解决小规模问题,如果没有,如何提高应用程序的性能。感谢lotHi Ranjan-我相信Fabian回答了你最初的问题,所以请接受他的回答。如果您有新问题,请创建一个新的堆栈溢出问题。谢谢您的回复。我想了解更多关于Flink的并行性。因此,当您谈到开销时,如何从性能方面描述它,如何确定它是否有助于解决小规模问题,如果没有,如何提高应用程序的性能。感谢lotHi Ranjan-我相信Fabian回答了你最初的问题,所以请接受他的回答。如果有新问题,请创建新的堆栈溢出问题。