Apache spark 本地和独立之间的火花差异

如果我使用本地[*]运行Spark，然后使用2个工作进程运行Standalone（两个工作进程都指同一台计算机），有什么区别吗？

Standalone您正在为工作进程和Spark master定义“容器”，以便在您的机器中运行（因此您可以有n个工作进程，并且您的任务可以分布在这两个工作进程的JVM中？）但是在本地模式下，您只是在本地机器上的同一JVM中使用n个线程运行所有内容。

但是如果这两个工作线程在同一台机器上呢？这和本地模式一样吗？两个工作进程都是独立的JVM进程，内部可以有多个线程，本地将有一个JVM进程和两个线程。因此，GC和内存管理对于每个进程都是独立的。根据我的经验，设置独立集群可能会带来很多麻烦，因此我将所有开发都转移到本地[*]，对于性能测试，我将转移到独立集群。