Apache spark 火花驱动器存储器和应用主存储器

我是否正确理解客户机模式的文档

客户机模式与群集模式相反，在群集模式下，驱动程序在应用程序主机中运行

在客户端模式下，驱动程序和应用程序主控程序是独立的进程，因此

spark.driver.memory

+

spark.warn.am.memory

必须小于机器的内存

在客户端模式下，驱动程序内存是否不包括在应用程序主内存设置中

---

在客户端模式下，驱动程序直接在spark submit（即客户端程序）中启动。要在群集中任何一个节点中创建的应用程序主节点。spark.driver.memory（+内存开销）小于机器内存

在集群模式下，驱动程序在集群中任何节点的应用程序主机内运行

客户端模式与群集模式相反，在群集模式下，驱动程序在应用程序主机中运行？

是，当Spark应用程序部署在

• 客户端模式，驱动程序将在提交应用程序的计算机上运行，并且该计算机必须在网络中可用，直到应用程序完成
• 群集模式，驱动程序将在应用程序主节点（每个spark应用程序一个）中运行，提交应用程序的机器在提交后不需要在网络中

客户端模式

集群模式

如果Spark应用程序在其自己的资源管理器（独立）上以群集模式提交，则驱动程序进程将位于其中一个工作节点中

图像和内容的参考：

在客户端模式下，驱动程序和应用程序主机是独立的进程，因此

spark.driver.memory

+

spark.warn.am.memory

必须小于机器的内存？

否，在客户端模式下，驱动程序和AM是独立的进程，存在于不同的机器中，因此不需要组合内存，而需要组合

spark.warn.AM.内存

+

一些开销

应小于纱线容器内存（

Thread.nodemanager.resource.memory mb

）。如果超过，Thread的资源管理器将终止容器

在客户端模式下，驱动程序内存是否不包括在应用程序主内存设置中？

此处

spark.driver.memory

必须小于机器中启动spark应用程序的可用内存

但是，在群集模式下使用

spark.driver.memory

而不是

spark.warn.am.memory

spark.warn.am.memory

：512m（默认值） 在客户端模式下，应用程序主机使用的内存量，格式与JVM内存相同 字符串（例如

512m、2g

）。在群集模式下，使用

spark.driver.memory

相反，使用小写后缀，例如，kibi-，

k，m，g，t

，和

p

， 分别为mebi、gibi、tebi和PEBI字节

检查

---

在那个链接中，它说AM和驱动程序在同一个进程中？更新了我的响应。AM可以在集群中的任何一个节点中运行，而不是在客户端机器中运行。嗨，如果任何一个答案已经解决了你的问题，请考虑或添加自己的解决方案。因此，它向更广泛的社区表明你已经找到了解决方案。se.为了澄清，应用程序主机从资源管理器请求资源。但是应用程序主机本身是否创建纱线容器和火花执行器？谢谢。这将在纱线处理，应用程序主机根据数据大小通知/请求RM，并配置纱线容器以在内部运行火花执行器。