Apache spark Spark 2.1.1具有Spark.akka.threads=12的特性
我正在使用ApacheSpark2.1.1和SparkJobserverSpark2.0预览版 我在spark UI环境选项卡上看到有一个配置属性spark.akka.threads=12，但在该参数的文档中不存在，我在spark 1.2.1配置中找到了它，默认情况下它有4个，描述如下： 用于通信的参与者线程数。当驱动程序有很多CPU内核时，在大型集群上增加内存是很有用的 我在一台机器上使用spark standalone，其中包含主控和辅助 在搜索有关它的信息时，我发现了一条建议，建议不应大于8 我的问题是: 如果我没有设置此属性，Jobserver是否正在设置它？如果是，如果spark官方文档中不再显示此属性，为什么要这样做Apache spark Spark 2.1.1具有Spark.akka.threads=12的特性,apache-spark,spark-jobserver,Apache Spark,Spark Jobserver,我正在使用ApacheSpark2.1.1和SparkJobserverSpark2.0预览版 我在spark UI环境选项卡上看到有一个配置属性spark.akka.threads=12，但在该参数的文档中不存在，我在spark 1.2.1配置中找到了它，默认情况下它有4个，描述如下： 用于通信的参与者线程数。当驱动程序有很多CPU内核时，在大型集群上增加内存是很有用的 我在一台机器上使用spark standalone，其中包含主控和辅助 在搜索有关它的信息时，我发现了一条建议，建议不应大于
什么样的问题会导致小型非群集spark单机版的此高参数 Spark 1.6和2.x没有使用Akka，这就是为什么它没有在文档中列出并且无法设置的原因。有关详细信息，请参阅和 对Jira任务的描述： 许多Spark用户应用程序正在使用（或想要使用）Akka。阿克卡 作为一个整体，可以为架构的简单性和灵活性做出巨大贡献 一致性。然而，因为Spark依赖于Akka，所以这是不可能的 对于用户依赖不同的版本，我们已经收到了很多 过去曾要求就这一具体问题提供帮助。对于 例如，Spark Streaming可以用作Akka的接收器 消息-但我们对Akka的依赖需要上游Akka 演员也要使用相同版本的阿克卡 因为我们对Akka的使用是有限的（主要用于RPC和单线程） 事件循环），我们可以将其替换为其他RPC实现 以及Spark中的公共事件循环 Akka被Spark RPC取代，它使用Netty 另见：-非常相似的答案，但问题更直接，为什么不使用，而不是如果使用
您在某些配置文件中拥有此属性，或使用
--conf--conf