Apache spark 如何将JMXConsole远程连接到Spark流媒体应用程序_Apache Spark_Jmx_Spark Streaming_Visualvm

Apache spark 如何将JMXConsole远程连接到Spark流媒体应用程序

apache-spark

Apache spark 如何将JMXConsole远程连接到Spark流媒体应用程序,apache-spark,jmx,spark-streaming,visualvm,Apache Spark,Jmx,Spark Streaming,Visualvm,我有一个Spark流媒体应用程序以纱线簇模式运行，读取卡夫卡主题我想将JMXConsole或Javavisualvm连接到Cloudera发行版中的这些远程进程，以收集一些性能基准我该怎么做呢？我这样做的方式是设置/添加以下属性（同时启动Flight Recorder）：如果每个框上只运行一个辅助进程，则可以将端口设置为固定。如果有多个端口，则需要使用端口0和lsof查找分配的端口 spark.executor.extraJavaOptions=-XX:+UnlockCommercialF

我有一个Spark流媒体应用程序以纱线簇模式运行，读取卡夫卡主题

我想将

JMXConsole

或Java

visualvm

连接到Cloudera发行版中的这些远程进程，以收集一些性能基准

我该怎么做呢？

我这样做的方式是设置/添加以下属性（同时启动Flight Recorder）：

如果每个框上只运行一个辅助进程，则可以将端口设置为固定。如果有多个端口，则需要使用端口0和lsof查找分配的端口

spark.executor.extraJavaOptions=-XX:+UnlockCommercialFeatures -XX:+FlightRecorder -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=0