Databricks Community Edition与连接到群集的Scala库或JAR冲突

Databricks Community Edition与连接到群集的Scala库或JAR冲突,databricks,Databricks,每次我试图在Databricks Community Edition上执行任何Scala代码时,都会收到以下错误消息: java.lang.Exception:初始化REPL时出错。请检查是否有冲突的Scala库或JAR连接到群集,例如连接到Scala 2.10群集的Scala 2.11库(反之亦然) 有人能告诉我如何解决这个问题吗?您需要正确地添加库,例如通过Maven坐标(这可能更可取,因为它也会提取所有依赖项),或者从DBFS或S3添加库,以便运行时可以将库分发到群集中的所有节点。例如,我

每次我试图在Databricks Community Edition上执行任何Scala代码时,都会收到以下错误消息:

java.lang.Exception:初始化REPL时出错。请检查是否有冲突的Scala库或JAR连接到群集,例如连接到Scala 2.10群集的Scala 2.11库(反之亦然)


有人能告诉我如何解决这个问题吗?

您需要正确地添加库,例如通过Maven坐标(这可能更可取,因为它也会提取所有依赖项),或者从DBFS或S3添加库,以便运行时可以将库分发到群集中的所有节点。例如,我将添加而不是ADAL:

安装后,我可以无任何问题地访问它(我使用了Runtime 6.5):


您需要正确地添加库,例如通过Maven坐标(这可能更可取,因为它也会提取所有依赖项),或者从DBFS或S3添加库,以便运行时可以将此库分发到集群中的所有节点。例如,我将添加而不是ADAL:

安装后,我可以无任何问题地访问它(我使用了Runtime 6.5):


好的,我将集群上的Databricks运行时版本更改为7.0(包括Apache Spark 3.0.0、Scala 2.12)。当我现在运行任何scala代码时,我现在得到错误:scala.reflect.internal.FatalError:error访问/databricks/jars/adal4j-1.6.0.jar。我在/databricks/jars位置安装了adal4j-1.6.0.jar,但仍然收到相同的错误。有什么想法吗?你在集群属性中看到这个库了吗?另外,建议使用MSAL4J而不是ADAL4Jok,我将集群上的Databricks运行时版本更改为7.0(包括ApacheSpark 3.0.0、Scala 2.12)。当我现在运行任何scala代码时,我现在得到错误:scala.reflect.internal.FatalError:error访问/databricks/jars/adal4j-1.6.0.jar。我在/databricks/jars位置安装了adal4j-1.6.0.jar,但仍然收到相同的错误。有什么想法吗?你在集群属性中看到这个库了吗?另外,建议使用MSAL4J而不是ADAL4JMorning Alex,感谢您的帮助。Alex,我在下面的运行时6.5(包括Apache Spark 2.4.5、Scala 2.11)中尝试了你的建议,但是我得到了错误“java.lang.Exception:初始化REPL时出错。请检查是否有冲突的Scala库或JAR连接到群集,例如连接到Scala 2.10群集的Scala 2.11库(反之亦然)。'要使用运行时7.0Alex重试,不幸的是,我在运行时7.0中仍然遇到同样的错误:scala.reflect.internal.FatalError:访问/databricks/jars/adal4j-1.6.0.jar时出错。我不知道如何在StackOverflow中包含图像,但您可以相信我的话,我安装了com.microsoft.azure:msal4j:1.6.1。还有其他想法吗?您是否添加了其他库?对我来说,它只是在社区版上开箱即用嗨,Alex,我没有像你在屏幕截图中显示的那样添加任何库,但我在下面的文件夹/FileStore/jars/maven中有库。。我在某个地方读到我需要删除那些库,但我不知道如何删除它们。你觉得呢?早上好Alex谢谢你的帮助。Alex,我在下面的运行时6.5(包括Apache Spark 2.4.5、Scala 2.11)中尝试了你的建议,但是我得到了错误“java.lang.Exception:初始化REPL时出错。请检查是否有冲突的Scala库或JAR连接到群集,例如连接到Scala 2.10群集的Scala 2.11库(反之亦然)。'要使用运行时7.0Alex重试,不幸的是,我在运行时7.0中仍然遇到同样的错误:scala.reflect.internal.FatalError:访问/databricks/jars/adal4j-1.6.0.jar时出错。我不知道如何在StackOverflow中包含图像,但您可以相信我的话,我安装了com.microsoft.azure:msal4j:1.6.1。还有其他想法吗?您是否添加了其他库?对我来说,它只是在社区版上开箱即用嗨,Alex,我没有像你在屏幕截图中显示的那样添加任何库,但我在下面的文件夹/FileStore/jars/maven中有库。。我在某个地方读到我需要删除那些库,但我不知道如何删除它们。你怎么认为?