Apache spark 火花-本地模式与纱线模式

我了解内部情况，也经历了一些困难

我遇到了以下问题

local[*]    Run Spark locally with as many worker threads as logical cores on your machine.

我也知道纱线集群和客户模式。本地是指与纱线模式（安装在集群中）相反的本地安装的火花分配吗 而且，当我提交以下命令时，它似乎被提交到集群，因为它工作正常，并且我没有本地设置。所以，我认为它是提交给集群的

那么，这里的区别是什么

spark-submit --master local[*]  word-count.py

它是否与以下命令相同（此处有“本地”设置）

#更新1

我注意到了一个区别。在纱线模式下，应用程序详细信息显示在纱线应用程序页面中。我在本地模式下看不到这一点

我想知道，在“本地模式”中部署的应用程序究竟在哪里执行。我没有集群的本地设置

---

localmode是否通过纱线簇，但仍在spark簇中执行？

如果有5台机器（1台主机和4台核心）的簇<代码>纱线将帮助您在所有5台机器上运行<代码>本地只会帮助您在一台

单机上运行

（主机..从您提交的位置）。在“本地模式”下，它在哪里运行？在集群中还是在驱动程序机器中？@Nag就像这样：local没有涉及集群（没有集群管理器，它都在同一个JVM进程中运行）。集群模式（独立、纱线、kubernetes等）协调计算机之间的执行。虽然您可以在同一台本地计算机上以群集模式运行（就像您使用纱线一样），但工作的协调和流程与本地模式完全不同。我可以这样说吗，因为我正在连接VM（安装spark的地方），而本地机没有spark设置，当我以本地模式提交程序时，它被提交到VM。VM在本地模式下执行作业，就像在同一JVM进程中的所有操作一样，不使用Thread。您正在VM内部提交

spark submit--master local[*]

，对吗？我想您可能对术语

local

感到困惑。如果您有一个由5台机器组成的集群（1台主机和4台核心）<代码>纱线将帮助您在所有5台机器上运行<代码>本地只会帮助您在一台

单机上运行

（主机..从您提交的位置）。在“本地模式”下，它在哪里运行？在集群中还是在驱动程序机器中？@Nag就像这样：local没有涉及集群（没有集群管理器，它都在同一个JVM进程中运行）。集群模式（独立、纱线、kubernetes等）协调计算机之间的执行。虽然您可以在同一台本地计算机上以群集模式运行（就像您使用纱线一样），但工作的协调和流程与本地模式完全不同。我可以这样说吗，因为我正在连接VM（安装spark的地方），而本地机没有spark设置，当我以本地模式提交程序时，它被提交到VM。VM在本地模式下执行作业，就像在同一JVM进程中的所有操作一样，不使用Thread。您正在VM内部提交

spark submit--master local[*]

，对吗？我猜你对术语

local

感到困惑。

spark-submit --master yarn word-count.py