Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/17.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 在水气雾中执行简单的火花作业_Scala_Rest_Apache Spark - Fatal编程技术网

Scala 在水气雾中执行简单的火花作业

Scala 在水气雾中执行简单的火花作业,scala,rest,apache-spark,Scala,Rest,Apache Spark,我创建了类似以下内容的spark job: 将导入状态更改为: import io.hydrosphere.mist.lib.spark2.{ContextSupport, MistJob} 由于现有导入import io.hydrosphere.mist.api.{ContextSupport,MistJob}无法解析 使用sbt-package创建JAR并将其添加到router.conf,如下所示: first-job = { path = "path to jar" classN

我创建了类似以下内容的spark job:

将导入状态更改为:

import io.hydrosphere.mist.lib.spark2.{ContextSupport, MistJob}
由于现有导入
import io.hydrosphere.mist.api.{ContextSupport,MistJob}
无法解析

使用
sbt-package
创建JAR并将其添加到
router.conf
,如下所示:

first-job = {
  path = "path to jar"
  className = "SimpleContext$"
  namespace = "foo"
}
运行上述作业的
curl
命令无法返回

找不到请求的资源

但是,当指向现有的
mist-examples-spark2.jar时,
curl
命令运行良好。这是否意味着问题在于jar创建?。有没有人能够运行Mist作业

我运行mist master的控制台中的记录器显示:

17-07-11 21:56:52 [mist-akka.actor.default-dispatcher-18] ERROR phere.mist.master.JobEndpoints:44 Job's loading failed for first-job
java.lang.NoClassDefFoundError: io/hydrosphere/mist/lib/spark2/MistJob
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
.
.

导入语句有问题吗?

目前,我们正在努力改进我们的库,这导致版本之间可能存在二进制不兼容。这意味着您应该确保本地mist安装(或docker image版本)与用于生成作业的mist库版本相同。

我使用的是
mist-0.12.2-2.1.1
。在SBT文件中包含
libraryDependencies+=io.hydrosphere“%%”mist-lib-spark2“%%”0.11.0“
。请更新SBT中的
libraryDependencies
部分:
libraryDependencies+=io.hydrosphere“%%”mist-lib-spark2“%%”0.12.2”
@Vadim Chelyshov您能帮我一下吗