Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark rg.apache.spark.SparkException:无效的主URL:spark://tasks.501393358-spark-master:7077_Apache Spark_Docker - Fatal编程技术网

Apache spark rg.apache.spark.SparkException:无效的主URL:spark://tasks.501393358-spark-master:7077

Apache spark rg.apache.spark.SparkException:无效的主URL:spark://tasks.501393358-spark-master:7077,apache-spark,docker,Apache Spark,Docker,我有2个火花簇-全球火花大师级,100火花大师级。 我创建了两个spark workers,一个用于global spark master,另一个用于100 spark master。所有节点都是在单个节点中创建的 全局spark worker已启动并连接到全局spark master。 但是100 spark worker没有启动,我得到以下异常 如何解决这个问题 线程“main”org.apache.spark.SparkException中出现异常:无效的主URL:spark://task

我有2个火花簇-全球火花大师级,100火花大师级。 我创建了两个spark workers,一个用于global spark master,另一个用于100 spark master。所有节点都是在单个节点中创建的

全局spark worker已启动并连接到全局spark master。 但是100 spark worker没有启动,我得到以下异常

如何解决这个问题

线程“main”org.apache.spark.SparkException中出现异常:无效的主URL:spark://tasks.100-spark-master:7077 位于org.apache.spark.util.Utils$.extractHostPortFromSparkul(Utils.scala:2330) 位于org.apache.spark.rpc.rpcadress$.fromsparkkurl(rpcadress.scala:47) 位于org.apache.spark.deploy.worker.worker$$anonfun$13.apply(worker.scala:714) 位于org.apache.spark.deploy.worker.worker$$anonfun$13.apply(worker.scala:714) 在scala.collection.TraversableLike$$anonfun$map$1.apply处(TraversableLike.scala:234) 在scala.collection.TraversableLike$$anonfun$map$1.apply处(TraversableLike.scala:234) 在scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)

我创建这些服务的方式是

全球网络: docker服务创建--名称全局spark master--限制cpu 8--限制内存24GB--保留cpu 4--保留内存12GB--网络全局--网络XYZ服务--使用注册表auth pricecluster1:5000/nimbus/xinnici_spark:2.0.2 sh-c'/opt/spark/bin/spark class org.apache.spark.deploy.master.master-i tasks.global spark master'

docker服务创建--名称全局spark worker--限制cpu 8--限制内存24GB--保留cpu 4--保留内存12GB--网络全局--网络XYZ服务--使用注册表auth pricecluster1:5000/nimbus/xinnici_spark:2.0.2 sh-c'/opt/spark/bin/spark class org.apache.spark.deploy.worker.workerspark://tasks.global-spark-master:7077"

特定网络: docker服务创建--名称100 spark master--限制cpu 2--限制内存12GB--保留cpu 2--保留内存6GB--网络100--网络XYZ服务--使用注册表auth pricecluster1:5000/nimbus/xinnici_spark:2.0.2 sh-c'/opt/spark/bin/spark class org.apache.spark.deploy.master.master-i tasks.100 spark master'

docker服务创建--名称100 spark worker--限制cpu 2--限制内存12GB--保留cpu 1--保留内存6GB--网络100--网络XYZ服务--使用注册表auth pricecluster1:5000/nimbus/xinnici_spark:2.0.2 sh-c'/opt/spark/bin/spark class org.apache.spark.deploy.worker.workerspark://tasks.100-spark-master:7077"