Apache spark 类路径数据库中过时的Jar
我正试图在带有Jar的Databricks中运行一些代码。我得到的错误与类路径中的过时Jar关联。我已经上传了最新的Jar,但显然过时的版本仍然在类路径的某个地方。是否有方法访问、查看或编辑Databricks中的类路径 删除该集群并构建一个新集群可以解决问题吗Apache spark 类路径数据库中过时的Jar,apache-spark,classpath,spark-dataframe,databricks,Apache Spark,Classpath,Spark Dataframe,Databricks,我正试图在带有Jar的Databricks中运行一些代码。我得到的错误与类路径中的过时Jar关联。我已经上传了最新的Jar,但显然过时的版本仍然在类路径的某个地方。是否有方法访问、查看或编辑Databricks中的类路径 删除该集群并构建一个新集群可以解决问题吗 很抱歉假设,我对类路径0%熟悉。谢谢我想明白了。Scala笔记本,请使用以下代码: val jarfiles = dbutils.fs.ls("dbfs:/FileStore/jars") .map(_.path) .filter(
很抱歉假设,我对类路径0%熟悉。谢谢我想明白了。Scala笔记本,请使用以下代码:
val jarfiles = dbutils.fs.ls("dbfs:/FileStore/jars")
.map(_.path)
.filter(_.indexOf("your pattern") > -1)
jarfiles.foreach(dbutils.fs.rm(_))
将“yourpattern”替换为jar名称中的字符串(但这还不足以删除其他jar)
重启集群,动臂