Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何检查Spark使用的芯数？_Apache Spark - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark 如何检查Spark使用的芯数？

Apache spark 如何检查Spark使用的芯数？

apache-spark

Apache spark 如何检查Spark使用的芯数？,apache-spark,Apache Spark,我将spark.cores.max设置为24[3个工作节点]，但是如果我进入我的工作节点，看到只有一个进程[command=Java]在运行，它会消耗内存和CPU。我怀疑它没有使用全部8个内核（在m2.4x大的上） 如何知道该数量？您可以在Spark Web UI下查看集群中每个辅助进程上占用的内核数量： 我可以在这里看到…但我的问题是..当我登录到worker节点并检查与spark关联的进程数时..通常每个worker节点只有一个。。。。我想知道我所有的核心是否都被利用了？只要触发一个并行计算

我将
spark.cores.max
设置为
24
[3个工作节点]，但是如果我进入我的工作节点，看到只有一个进程[command=Java]在运行，它会消耗内存和CPU。我怀疑它没有使用全部8个内核（在
m2.4x大的
上）


如何知道该数量？
您可以在Spark Web UI下查看集群中每个辅助进程上占用的内核数量：

我可以在这里看到…但我的问题是..当我登录到worker节点并检查与spark关联的进程数时..通常每个worker节点只有一个。。。。我想知道我所有的核心是否都被利用了？只要触发一个并行计算，然后观察你的核心负载。您将看到它们。web UI的默认端口为18080。否则访问机器（ssh）然后使用top将提供更多详细信息。端口18080不适用于WebUI。18080是启动此服务器时记录日志的默认端口（$SPARK_HOME/sbin/start history server.sh）。WebUI由Spark应用程序启动，默认情况下绑定到端口4040。