Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何在k8s上的spark中使用HDFS HA?_Apache Spark_Kubernetes - Fatal编程技术网

Apache spark 如何在k8s上的spark中使用HDFS HA?

Apache spark 如何在k8s上的spark中使用HDFS HA?,apache-spark,kubernetes,Apache Spark,Kubernetes,我的环境是带有HDFS HA模式的CDH5.11,我在我的windows PC中使用SparkLauncher提交应用程序,当我像 setAppResource("hdfs://ip:port/insertInToSolr.jar") setAppResource("hdfs://hdfsHA_nameservices/insertInToSolr.jar") 它起作用了,但当我像 setAppResource("hdfs://ip:port/insertInToSolr.jar") se

我的环境是带有HDFS HA模式的CDH5.11,我在我的windows PC中使用SparkLauncher提交应用程序,当我像

setAppResource("hdfs://ip:port/insertInToSolr.jar")
setAppResource("hdfs://hdfsHA_nameservices/insertInToSolr.jar")
它起作用了,但当我像

setAppResource("hdfs://ip:port/insertInToSolr.jar")
setAppResource("hdfs://hdfsHA_nameservices/insertInToSolr.jar")
它不起作用。 我已通过修改将hadoop配置复制到spark docker映像

$SPARK\u HOME/kubernetes/dockerfiles/SPARK/entrypoint.sh
当我使用
docker run-it映像ID/bin/bash

要运行容器,我可以在容器中使用spark shell来读取hdfs和hive。

“它不工作。”并不是很有用。错误消息?有人试图修复吗?“我已经复制了hadoop配置”>>您克隆了哪些XML文件?你把这些文件放在哪里了?您是否为Spark设置了
HADOOP_CONF_DIR
env变量以调整其类路径?错误消息是“java.net.UnknownHostException:hdfsHA_nameservice”。我将hdfs-site.xml core-site.xml复制到Spark docker映像中,并设置HADOOP_CONF_DIR,您是否在这些文件中看到
hdfsHA_nameservice
?是的,当然,我在这些文件中设置了hdfsHA_名称服务