Scala 在水气雾中执行简单的火花作业
我创建了类似以下内容的spark job: 将导入状态更改为:Scala 在水气雾中执行简单的火花作业,scala,rest,apache-spark,Scala,Rest,Apache Spark,我创建了类似以下内容的spark job: 将导入状态更改为: import io.hydrosphere.mist.lib.spark2.{ContextSupport, MistJob} 由于现有导入import io.hydrosphere.mist.api.{ContextSupport,MistJob}无法解析 使用sbt-package创建JAR并将其添加到router.conf,如下所示: first-job = { path = "path to jar" classN
import io.hydrosphere.mist.lib.spark2.{ContextSupport, MistJob}
由于现有导入import io.hydrosphere.mist.api.{ContextSupport,MistJob}
无法解析
使用sbt-package
创建JAR并将其添加到router.conf
,如下所示:
first-job = {
path = "path to jar"
className = "SimpleContext$"
namespace = "foo"
}
运行上述作业的curl
命令无法返回
找不到请求的资源
但是,当指向现有的mist-examples-spark2.jar时,curl
命令运行良好。这是否意味着问题在于jar创建?。有没有人能够运行Mist作业
我运行mist master的控制台中的记录器显示:
17-07-11 21:56:52 [mist-akka.actor.default-dispatcher-18] ERROR phere.mist.master.JobEndpoints:44 Job's loading failed for first-job
java.lang.NoClassDefFoundError: io/hydrosphere/mist/lib/spark2/MistJob
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
.
.
导入语句有问题吗?目前,我们正在努力改进我们的库,这导致版本之间可能存在二进制不兼容。这意味着您应该确保本地mist安装(或docker image版本)与用于生成作业的mist库版本相同。我使用的是mist-0.12.2-2.1.1
。在SBT文件中包含libraryDependencies+=io.hydrosphere“%%”mist-lib-spark2“%%”0.11.0“
。请更新SBT中的libraryDependencies
部分:libraryDependencies+=io.hydrosphere“%%”mist-lib-spark2“%%”0.12.2”
@Vadim Chelyshov您能帮我一下吗