Apache spark 如何在k8s上的spark中使用HDFS HA?
我的环境是带有HDFS HA模式的CDH5.11,我在我的windows PC中使用SparkLauncher提交应用程序,当我像Apache spark 如何在k8s上的spark中使用HDFS HA?,apache-spark,kubernetes,Apache Spark,Kubernetes,我的环境是带有HDFS HA模式的CDH5.11,我在我的windows PC中使用SparkLauncher提交应用程序,当我像 setAppResource("hdfs://ip:port/insertInToSolr.jar") setAppResource("hdfs://hdfsHA_nameservices/insertInToSolr.jar") 它起作用了,但当我像 setAppResource("hdfs://ip:port/insertInToSolr.jar") se
setAppResource("hdfs://ip:port/insertInToSolr.jar")
setAppResource("hdfs://hdfsHA_nameservices/insertInToSolr.jar")
它起作用了,但当我像
setAppResource("hdfs://ip:port/insertInToSolr.jar")
setAppResource("hdfs://hdfsHA_nameservices/insertInToSolr.jar")
它不起作用。
我已通过修改将hadoop配置复制到spark docker映像
$SPARK\u HOME/kubernetes/dockerfiles/SPARK/entrypoint.sh
当我使用docker run-it映像ID/bin/bash
要运行容器,我可以在容器中使用spark shell来读取hdfs和hive。“它不工作。”并不是很有用。错误消息?有人试图修复吗?“我已经复制了hadoop配置”>>您克隆了哪些XML文件?你把这些文件放在哪里了?您是否为Spark设置了
HADOOP_CONF_DIR
env变量以调整其类路径?错误消息是“java.net.UnknownHostException:hdfsHA_nameservice”。我将hdfs-site.xml core-site.xml复制到Spark docker映像中,并设置HADOOP_CONF_DIR,您是否在这些文件中看到hdfsHA_nameservice
?是的,当然,我在这些文件中设置了hdfsHA_名称服务