Java 如何在项目之外打包Spark（Scala）中的JAR？

我一直在尝试设置Spark Scala和Jupyter笔记本。除非您想添加数据库驱动程序之类的东西，尤其是我的例子中的红移，这是一个复杂的JAR相互依赖的网络，我花了一天的时间试图弄清楚

我还安装了spark localy Ubuntu18.04，但也遇到了同样的问题，找到了/jar文件夹，然后找出了我需要使用的驱动程序、libs等版本

---

所有这些都是为了让Jupyter笔记本电脑中的spark连接到redshift:@

如果您打算将Scala用于spark，最好设置/使用齐柏林飞艇笔记本电脑环境，而不是Jupyter。一旦齐柏林飞艇开始工作，创建一个新笔记本，在一个空单元格中，您可以使用%sh magic命令运行Unix风格的命令，如sudo apt get，以安装您需要的任何其他库。

这仍然没有解释我将如何安装Redshift JDBC连接器及其所有依赖项。如何管理Spark Institution的依赖关系？试试这个：注意，我没有一个Redshift实例可以连接，所以我自己也没有尝试过这些步骤，但从外观上看，作者已经以一种易于遵循的指南格式列出了这些步骤，这应该会让您开始。如果你遇到任何具体问题，你可以在这里发布更多细节。是的，这是Jupyter笔记本通过psycopg2到Redshift，很简单，但问题是如何将Spark连接到Redshift不是一回事。慢点读这个问题。啊，我知道你在找什么了！您希望在Jupyter笔记本环境中通过Spark连接到Redshift。首先，从下载适当的红移驱动程序jar。将其保存到您认为合适的路径。接下来，使用以下命令/选项启动Jupyter笔记本：-bin/pyspark-driver class path/path_to_redshift_driver.jar-jars/path_to_redshift_driver.jar最后，使用此链接中的说明连接：-