Apache spark Spark-不同hdfs群集上的纱线主数据集

Apache spark Spark-不同hdfs群集上的纱线主数据集,apache-spark,Apache Spark,我希望在一个hdfs集群(纱线主机)上运行spark,但希望从另一个hdfs集群访问数据集 这两个hdfs集群都是keberized的,并且相同的ID可以访问这两个集群 步骤: 为第一个hdfs群集设置环境 spark shell--主纱线客户机 sc.textFile(“hdfs://[secondshdfscluster][dataset here] res0.count(*)给出 ...... 原因:org.apache.hadoop.security.AccessControlExcep

我希望在一个hdfs集群(纱线主机)上运行spark,但希望从另一个hdfs集群访问数据集

这两个hdfs集群都是keberized的,并且相同的ID可以访问这两个集群

步骤:

  • 为第一个hdfs群集设置环境
  • spark shell--主纱线客户机
  • sc.textFile(“hdfs://[secondshdfscluster][dataset here]
  • res0.count(*)给出 ...... 原因:org.apache.hadoop.security.AccessControlException:客户端无法通过:[令牌,KERBEROS]进行身份验证
  • 我正在尝试的是可能的吗?如果是,有什么建议可以解决吗