Fatal编程技术网
  • apache-spark/
  • Apache spark java.lang.SecurityException：管理员已禁止在此群集上运行Scala UDF

Apache spark java.lang.SecurityException：管理员已禁止在此群集上运行Scala UDF

apache-spark pyspark

Apache spark java.lang.SecurityException：管理员已禁止在此群集上运行Scala UDF,apache-spark,pyspark,databricks,Apache Spark,Pyspark,Databricks,我正在使用以下配置开发一个标准的并发databricks集群：8.1（包括ApacheSpark 3.1.1、Scala 2.12）以及配置Spark.databricks.repl.allowedLanguages python、sql、Scala中的这个集 当我尝试使用以下代码NLP_model=NLP_pipeline.fit（数据）安装NLP管道时，我收到以下错误：java.lang.SecurityException:管理员已禁止在此群集上运行Scala UDF 请问，有人知道如何避开

我正在使用以下配置开发一个标准的并发databricks集群：8.1（包括ApacheSpark 3.1.1、Scala 2.12）以及配置Spark.databricks.repl.allowedLanguages python、sql、Scala中的这个集

当我尝试使用以下代码NLP_model=NLP_pipeline.fit（数据）安装NLP管道时，我收到以下错误：java.lang.SecurityException:管理员已禁止在此群集上运行Scala UDF

请问，有人知道如何避开这个问题吗？我认为这个错误不应该出现在标准并发集群上（这也是我设置这个集群的原因）。遗憾的是，我们的IT团队无法帮助我：(

这在上周奏效了

提前谢谢
James

我相信您可能正在使用不支持SCALA cmdlet的Datatrick运行时。您可能正在使用启用AD传递的群集。您是否可以尝试不使用AD传递的相同cmdlet，看看是否有效