Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 类路径数据库中过时的Jar_Apache Spark_Classpath_Spark Dataframe_Databricks - Fatal编程技术网

Apache spark 类路径数据库中过时的Jar

Apache spark 类路径数据库中过时的Jar,apache-spark,classpath,spark-dataframe,databricks,Apache Spark,Classpath,Spark Dataframe,Databricks,我正试图在带有Jar的Databricks中运行一些代码。我得到的错误与类路径中的过时Jar关联。我已经上传了最新的Jar,但显然过时的版本仍然在类路径的某个地方。是否有方法访问、查看或编辑Databricks中的类路径 删除该集群并构建一个新集群可以解决问题吗 很抱歉假设,我对类路径0%熟悉。谢谢我想明白了。Scala笔记本,请使用以下代码: val jarfiles = dbutils.fs.ls("dbfs:/FileStore/jars") .map(_.path) .filter(

我正试图在带有Jar的Databricks中运行一些代码。我得到的错误与类路径中的过时Jar关联。我已经上传了最新的Jar,但显然过时的版本仍然在类路径的某个地方。是否有方法访问、查看或编辑Databricks中的类路径

删除该集群并构建一个新集群可以解决问题吗


很抱歉假设,我对类路径0%熟悉。谢谢

我想明白了。Scala笔记本,请使用以下代码:

val jarfiles = dbutils.fs.ls("dbfs:/FileStore/jars")

.map(_.path)

.filter(_.indexOf("your pattern") > -1)

jarfiles.foreach(dbutils.fs.rm(_))
将“yourpattern”替换为jar名称中的字符串(但这还不足以删除其他jar)

重启集群,动臂