Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/variables/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache flink 为什么ApacheFlink应用程序的并行执行比顺序执行慢?_Apache Flink - Fatal编程技术网

Apache flink 为什么ApacheFlink应用程序的并行执行比顺序执行慢?

Apache flink 为什么ApacheFlink应用程序的并行执行比顺序执行慢?,apache-flink,Apache Flink,我有一个ApacheFlink设置,有一个TaskManager和两个处理插槽。当我执行一个并行度设置为1的应用程序时,执行作业大约需要33秒。当我将并行度增加到2时,作业需要45秒才能完成 我在Windows机器上使用Flink,配置为10个计算内核(4C+6G)。我想用2个插槽获得更好的效果。我能做什么?像ApacheFlink这样的分布式系统被设计成在数百台机器上的数据中心中运行。它们不是为在一台计算机上并行计算而设计的。此外,弗林克针对的是大规模问题。在本地计算机上以秒为单位运行的作业不

我有一个ApacheFlink设置,有一个TaskManager和两个处理插槽。当我执行一个并行度设置为1的应用程序时,执行作业大约需要33秒。当我将并行度增加到2时,作业需要45秒才能完成


我在Windows机器上使用Flink,配置为10个计算内核(4C+6G)。我想用2个插槽获得更好的效果。我能做什么?

像ApacheFlink这样的分布式系统被设计成在数百台机器上的数据中心中运行。它们不是为在一台计算机上并行计算而设计的。此外,弗林克针对的是大规模问题。在本地计算机上以秒为单位运行的作业不是Flink的主要用例

并行化应用程序总是会导致开销。数据必须在进程和线程之间分布和共享。Flink通过序列化和反序列化跨TaskManager插槽分发数据。此外,启动和协调分布式任务也不是免费的


当在一台机器上用分布式系统扩展一个小规模问题时,观察到更长的执行时间就不足为奇了。您可以将应用程序移植到利用共享内存的线程并行应用程序

像ApacheFlink这样的分布式系统被设计为在数百台机器上的数据中心中运行。它们不是为在一台计算机上并行计算而设计的。此外,弗林克针对的是大规模问题。在本地计算机上以秒为单位运行的作业不是Flink的主要用例

并行化应用程序总是会导致开销。数据必须在进程和线程之间分布和共享。Flink通过序列化和反序列化跨TaskManager插槽分发数据。此外,启动和协调分布式任务也不是免费的


当在一台机器上用分布式系统扩展一个小规模问题时,观察到更长的执行时间就不足为奇了。您可以将应用程序移植到利用共享内存的线程并行应用程序

谢谢你的回复,费边。我想了解更多关于Flink的并行性。因此,当您谈到开销时,如何从性能方面描述它,如何确定它是否有助于解决小规模问题,如果没有,如何提高应用程序的性能。感谢lotHi Ranjan-我相信Fabian回答了你最初的问题,所以请接受他的回答。如果您有新问题,请创建一个新的堆栈溢出问题。谢谢您的回复。我想了解更多关于Flink的并行性。因此,当您谈到开销时,如何从性能方面描述它,如何确定它是否有助于解决小规模问题,如果没有,如何提高应用程序的性能。感谢lotHi Ranjan-我相信Fabian回答了你最初的问题,所以请接受他的回答。如果有新问题,请创建新的堆栈溢出问题。