Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何将Scala Spark项目导出到jar_Scala_Apache Spark_Intellij Idea_Sbt - Fatal编程技术网

如何将Scala Spark项目导出到jar

如何将Scala Spark项目导出到jar,scala,apache-spark,intellij-idea,sbt,Scala,Apache Spark,Intellij Idea,Sbt,我正在处理Scala/Spark项目,我想将我的项目导出到jar文件,并通过Spark提交将其运行到Spark中。 我尝试了这个解决方案: 文件->项目结构->工件->+->Jar->来自具有依赖项的模块->浏览后选择的主类->选择的提取到目标Jar->META-INF目录自动填充->确定->应用->确定->构建->构建工件->构建。 但是我没有在jar文件中找到我的主类,所以我无法运行它。您可以遵循的基本思想是: 当您在Scala上工作时 您可以使用sbt作为生成管理系统,将所有依赖项添加到

我正在处理Scala/Spark项目,我想将我的项目导出到jar文件,并通过Spark提交将其运行到Spark中。
我尝试了这个解决方案:
文件->项目结构->工件->+->Jar->来自具有依赖项的模块->浏览后选择的主类->选择的提取到目标Jar->META-INF目录自动填充->确定->应用->确定->构建->构建工件->构建。

但是我没有在jar文件中找到我的主类,所以我无法运行它。

您可以遵循的基本思想是:

当您在Scala上工作时

  • 您可以使用
    sbt
    作为生成管理系统,将所有依赖项添加到项目中

  • 您可以使用
    sbt assembly
    pluggin构建胖jar

  • 将这个胖罐子导出到集群中以提交spark作业

请使用谷歌获得更多细节


或者,您可以使用此项目开始并集成
sbt assembly
插件,通过遵循其文档创建胖罐子您可以遵循的基本思想:

当您在Scala上工作时

  • 您可以使用
    sbt
    作为生成管理系统,将所有依赖项添加到项目中

  • 您可以使用
    sbt assembly
    pluggin构建胖jar

  • 将这个胖罐子导出到集群中以提交spark作业

请使用谷歌获得更多细节


或者您可以使用此项目开始并集成
sbt assembly
插件,按照它们的文档创建胖jar

我使用了sbt compile,但我得到错误“未找到:值Trigger.Trigger(Trigger.ProcessingTime(“200秒”),知道我导入了:import org.apache.spark.sql.streaming.trigger您是否在sbt文件中添加了相应的依赖项?是的,我添加了,只有在运行sbt compile时才会出现错误,但在编译文件时没有error@AhmedRadhwenKhadhri创建一个新问题,显示您的sbt配置和代码段正在初始化触发器类并共享此处的链接我使用了sbt编译,但我得到了错误“未找到:值Trigger.Trigger(Trigger.ProcessingTime(“200秒”),知道我导入了:import org.apache.spark.sql.streaming.trigger您是否在sbt文件中添加了相应的依赖项?是的,我添加了,只有在运行sbt compile时才会出现错误,但在编译文件时没有error@AhmedRadhwenKhadhri创建一个新问题,显示您的sbt配置和代码段正在初始化触发器类并在此处共享链接