Apache spark 为spark master指定本地[n1、n2、n3]时,三个参数是什么?

Apache spark 为spark master指定本地[n1、n2、n3]时,三个参数是什么?,apache-spark,Apache Spark,对于启动spark,我看到了: --master local[n1,n2,n3] 其中n1、n2和n3是整数 这些参数指的是什么?只有这些参数支持“本地”主模式: 本地:一个线程 局部[n]:n个线程 本地[*]:考虑到您的CPU,尽可能多的线程 c、 f 问候, Olivier。主规范在中解析。(参见实现链接。)使用local的可能性有: local使用1个线程 local[N]使用N个线程 local[*]使用的线程数量与内核数量相同 local[N,M]和local[*,M]与上

对于启动spark,我看到了:

--master local[n1,n2,n3] 
其中n1、n2和n3是整数


这些参数指的是什么?

只有这些参数支持“本地”主模式:

  • 本地:一个线程
  • 局部[n]:n个线程
  • 本地[*]:考虑到您的CPU,尽可能多的线程
c、 f

问候,


Olivier。

主规范在中解析。(参见实现链接。)使用
local
的可能性有:

  • local
    使用1个线程
  • local[N]
    使用N个线程
  • local[*]
    使用的线程数量与内核数量相同
  • local[N,M]
    local[*,M]
    与上述类似,但将最大任务失败设置为M。这允许您在本地运行时启用重试。(通常禁用本地重试。启用它们对于测试很有用。)
  • 本地集群[numslave、coresPerSlave、memoryPerSlave]
    在配置的单独进程中启动执行器,但不需要运行辅助进程和主进程。这是一种在单元测试中模拟集群的轻量级方法。(另见。)

你在哪里看到的?我现在找不到原始来源:也许他们有打字错误,我可以找到这个;“local-**cluster**[1,432000]”例如,啊,是的,它必须是
本地cluster
!我会在我的回答中加上这个。