Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何在执行spark pgm时指定spark.authenticate.secret值_Apache Spark - Fatal编程技术网

Apache spark 如何在执行spark pgm时指定spark.authenticate.secret值

Apache spark 如何在执行spark pgm时指定spark.authenticate.secret值,apache-spark,Apache Spark,当我使用部署模式:client启动spark程序时,出现了这个错误 java.lang.illegalargumentexception:错误:必须通过spark.authenticate.secret配置指定密钥 部署模式:客户端 大师:纱线 如何解决此错误?我没有任何线索。我在纱线簇模式中遇到了类似的错误,以下帮助了我: 如果spark.authenticate=true被指定为集群范围的配置,则必须添加以下内容 --conf“spark.authenticate=false”--conf

当我使用部署模式:client启动spark程序时,出现了这个错误

java.lang.illegalargumentexception:错误:必须通过spark.authenticate.secret配置指定密钥

部署模式:客户端 大师:纱线


如何解决此错误?我没有任何线索。

我在纱线簇模式中遇到了类似的错误,以下帮助了我:

如果spark.authenticate=true被指定为集群范围的配置,则必须添加以下内容 --conf“spark.authenticate=false”--conf“spark.shuffle.service.enabled=false”--conf“spark.dynamicAllocation.enabled=false”--conf“spark.network.crypto.enabled=false”--conf“spark.authenticate.enablesalencryption=false”
在spark submit命令中。

部署spark作业时使用的命令是什么?我使用的是spark submit。部署模式为客户端。我在创建SparkSession.similor时,试图在sparkconf上设置config属性,然后将其传递给config方法时遇到了此错误问题: