Scala 为Spark中的每个执行器分配1 GB

我有以下代码：-

 val conf = new SparkConf()
  .setAppName("Data")
  .set("spark.cassandra.connection.host", "192.168.0.40,192.168.0.106,192.168.0.113")
  .set("spark.cassandra.connection.keep_alive_ms", "20000")
  .set("spark.executor.memory", "1g")
  .set("spark.driver.memory", "2g")
  .set("spark.submit.deployMode", "cluster")
  .set("spark.executor.instances", "10")
  .set("spark.executor.cores", "1")
  .set("spark.cores.max", "10")
  .set("spark.driver.cores", "3")

我有4个节点的集群，每个集群有3个核心。尝试在集群中的9个executor上运行一个作业，每个都有1GB的RAM，如spark.executor.memory中所述。当我检查spark UI时，它显示每个节点上都有1GB的内存，但是

屏幕截图显示我有10个核心，每个核心分配了1GB，但在下面可以看到每个节点分配了1GB。但当我运行应用程序时，每个执行器显示336MB，如下图所示：-

需要了解这是如何工作的，如果它在每个节点上消耗3 GB，那么为什么只为每个执行器分配336 MB

---

谢谢，

如果您发布链接，至少使用内置图像上传器发布链接。如果你刚才提供的链接被删除，这篇文章将变得毫无用处，并且会丢失给其他人history@LonelyNeuron-谢谢你纠正我不知道这个功能。现在根据你的建议更新了我的代码。图片中有13个执行者，而在conf中你只提到了10个。另外，您在图片中看到的是存储内存。分配给执行器的内存值分为不同的部分，有些用于计算，有些用于存储缓存数据。@philantrovert-my bad。。对不起，我正在测试，所以拍了不同案例的截图。我明白你的观点，分配的内存被进一步划分为不同的部分，这意味着我需要增加内存以提供更多的存储内存。谢谢