Apache spark 如何添加第三方库以在本地计算机上运行spark

我正在收听eventhub stream，看到了将库附加到集群（databricks）的文章，我的代码运行文件

为了进行调试，我正在本地计算机/集群上运行代码，但由于缺少库而失败。在本地计算机上运行时如何添加库

我尝试了sparkcontext.addfile（fullpathtojar），但仍然出现了相同的错误。

我使用了spark提交--packages{package}，它可以工作。

我使用了spark提交--packages{package}，它可以工作。

您可以使用spark提交--packages packages

示例：spark submit--包org.postgresql:postgresql:42.1.1

您需要找到您正在使用的软件包，并检查与spark的兼容性

对于单个jar文件，您可以使用

spark submit--jars

。

您可以使用spark submit--packages

示例：spark submit--包org.postgresql:postgresql:42.1.1

您需要找到您正在使用的软件包，并检查与spark的兼容性

对于单个jar文件，您可以使用

spark submit--jars