Apache spark Databricks Connect:DependencyCheckWarning:远程集群上可能不存在java类

我在Databricks上对远程Spark集群执行了另一个本地Scala代码，得到了这个结果

Exception in thread "main" com.databricks.service.DependencyCheckWarning: The java class <something> may not be present on the remote cluster. It can be found in <something>/target/scala-2.11/classes. To resolve this, package the classes in <something>/target/scala-2.11/classes into a jar file and then call sc.addJar() on the package jar. You can disable this check by setting the SQL conf spark.databricks.service.client.checkDeps=false.

线程“main”com.databricks.service.DependencyCheckWarning中出现异常：java类可能不在远程集群上。可以在/target/scala-2.11/classes中找到它。要解决这个问题，请将/target/scala-2.11/classes中的类打包到一个jar文件中，然后在包jar上调用sc.addJar（）。您可以通过设置sqlconfspark.databricks.service.client.checkDeps=false来禁用此检查。

我尝试过重新导入、清理和重新编译sbt项目，但没有成功

---

有人知道如何处理这个问题吗？

显然，文档中有：

我想，作为Spark外部代码编写的所有代码都被视为依赖项是有道理的。因此，一个简单的

sbt publishLocal

，然后指向上面命令中的jar路径，将对您进行排序

我的主要困惑来自这样一个事实，我不需要这么做很长一段时间，直到在某个时候，这个机制踢它。我想说的是相当不一致的行为

---

---

使用此设置后的一个个人观察是，您似乎只需要发布一次jar。我已经多次修改我的代码，即使我没有不断地为我所做的新修改发布jar，这些修改也会得到反映。这使整个任务圆满完成。仍然令人困惑。

感谢您分享答案，您可以将其作为答案接受（单击答案旁边的复选标记，将其从灰色变为填充）。这可能对其他社区成员有益。谢谢，谢谢你的支持。既然你认为它有用，我可以请你投赞成票吗？

spark.sparkContext.addJar("./target/scala-2.11/hello-world_2.11-1.0.jar")