Authentication 从Spark访问Hdfs时，缓存错误可能'；无法获取用作续订者的主Kerberos主体
我正在尝试运行一个测试Spark脚本，以便将Spark连接到hadoop。 脚本如下Authentication 从Spark访问Hdfs时，缓存错误可能'；无法获取用作续订者的主Kerberos主体,authentication,hadoop,kerberos,apache-spark,Authentication,Hadoop,Kerberos,Apache Spark,我正在尝试运行一个测试Spark脚本，以便将Spark连接到hadoop。 脚本如下 from pyspark import SparkContext sc = SparkContext("local", "Simple App") file = sc.textFile("hdfs://hadoop_node.place:9000/errs.txt") errors = file.filter(lambda line: "ERROR" in line) errors.count() 当我用P
from pyspark import SparkContext
sc = SparkContext("local", "Simple App")
file = sc.textFile("hdfs://hadoop_node.place:9000/errs.txt")
errors = file.filter(lambda line: "ERROR" in line)
errors.count()
- 我做了一个kinit，一个klist显示我有正确的代币
- 当我发布一个./bin/hadoop fs-ls时hdfs://hadoop_node.place:9000/errs.txt 它显示文件
- 本地hadoop客户端和spark都有相同的配置文件
hadoop.security.auth_to_local
规则：[1:$1]（.@place）s/@place//
规则：[2:$1/$2@$0]（.*/node1。place@place)/^（[a-zA-Z]*）./$1/
规则：[2:$1/$2@$0]（.*/node2。place@place)/^（[a-zA-Z]*）./$1/
规则：[2:$1/$2@$0]（.*/node3。place@place)/^（[a-zA-Z]*）./$1/
规则：[2:$1/$2@$0]（.*/node4。place@place)/^（[a-zA-Z]*）./$1/
规则：[2:$1/$2@$0]（.*/node5。place@place)/^（[a-zA-Z]*）./$1/
规则：[2:$1/$2@$0]（.*/node6。place@place)/^（[a-zA-Z]*）./$1/
规则：[2:$1/$2@$0]（.*/node7。place@place)/^（[a-zA-Z]*）./$1/
规则：[2:无人]
违约
net.topology.node.switch.mapping.impl
org.apache.hadoop.net.TableMapping
net.topology.table.file.name
/etc/hadoop/conf/topology.table.file
fs.defaultFS
hdfs://server.place:9000/
hadoop.security.authentication
kerberos
hadoop.security.authorization
真的
hadoop.proxyuser.hive.hosts
*
hadoop.proxyuser.hive.groups
*
有人能指出我遗漏了什么吗？在创建了我自己的hadoop集群之后，为了更好地理解hadoop是如何工作的。我修好了 您必须为Spark提供有效的.keytab文件，该文件是为至少具有hadoop集群读取权限的帐户生成的 此外，还必须为spark提供hdfs集群的hdfs-site.xml 因此，对于我的情况，我必须创建一个keytab文件，当您运行 klist-k-e-t 在它上面你可以看到如下的条目
from pyspark import SparkContext
sc = SparkContext("local", "Simple App")
file = sc.textFile("hdfs://hadoop_node.place:9000/errs.txt")
errors = file.filter(lambda line: "ERROR" in line)
errors.count()
您必须为spark提供hadoop集群的确切hdfs-site.xml和core-site.xml。否则它将无法工作所有Spark从属服务器是否也都有配置？Spark以伪可分发模式运行，因此只有一个服务器/节点您仍将运行两个JVM