Cassandra 在apache作业服务器上运行我的SparkJob

Apache作业服务器和SparkJob的.jar都有问题。 我有一个带数据税的VirtualBox。有卡桑德拉和斯帕克。我从安装Apache作业服务器。我需要运行示例，以便编写

sbt作业服务器测试/包

，然后从终端运行作业服务器

sbt重新启动

作业服务器工作示例

curl--data binary@/home/job server/job server tests/target/job.jar localhost:8090/jars/test

curl-d”“'localhost:8090/jobs？appName=test&classPath=spark.jobserver.LongPiJob'

问题是当我制作.jar时 我在带有Scala IDE的Windows上使用eclipse。我安装了sbteclipse插件，并用scala项目创建了文件夹

C:\Users\user\scalaWorkspace\LongPiJob

。我运行cmd，转到这个文件夹并运行

sbt eclipse

sbt compile

和

sbt package

。然后我将.jar复制到VirtualBox。接下来我使用1。curl命令。当我使用2时。我得到一个错误

线程“pool-25-thread-1”java.lang.AbstractMethodError中的作业服务器[ERROR]异常：com.forszpaniak.LongPiJob$.validate（Ljava/lang/Object；Lcom/typesafe/config/config；）Lspark/jobserver/SparkJobValidation； spark.jobserver.jobmanagerator$$anonfun$spark$jobserver$jobmanagerator$$getJobFuture$4.apply处的作业服务器[错误]（jobmanagerator.scala:225） scala.concurrent.impl.Future$PromiseCompletingRunnable.liftedTree1$1处的作业服务器[错误]（Future.scala:24） scala.concurrent.impl.Future$PromiseCompletingRunnable.run处的作业服务器[错误]（Future.scala:24） 位于java.util.concurrent.ThreadPoolExecutor.runWorker（ThreadPoolExecutor.java:1145）的作业服务器[错误] java.util.concurrent.ThreadPoolExecutor$Worker.run（ThreadPoolExecutor.java:615）处的作业服务器[错误] java.lang.Thread.run（Thread.java:745）处的作业服务器[ERROR]

在我启动服务器的终端。我得到了一份工作

[root@localhostspark jobserver]#curl-d“stress.test.longpijob.duration=15”'localhost:8090/jobs？appNametestJob1.5&classPath=com.forszpaniak.longpijob' { “状态”：“错误”， “结果”：{ “消息”：“询问在[Actor]上超时[akka://JobServer/user/context-supervisor/4538158c-com.forszpaniak.LongPiJob#-[10000毫秒]之后，“， “errorClass”：“akka.pattern.AskTimeoutException”， “堆栈”：[“akka.pattern.PromiseActorRef$$anonfun$1.apply$mcV$sp（AskSupport.scala:333）”，“akka.actor.Scheduler$$anon$7.run（Scheduler.scala:117）”，“scala.concurrent.Future$InternalCallbackExecutor$.scala$concurrent$Future$InternalCallbackExecutor$$unbatchedExecute（Future.scala:694）”，“scala.concurrent.Future$InternalCallbackExecutor$.executor$.execute（Future.scala:691）、“akka.actor.LightArrayRevolverScheduler$TaskHolder.executeTask（Scheduler.scala:467）”、“akka.actor.LightArrayRevolverScheduler$$anon$8.executeBucket$1（Scheduler.scala:419）”、“akka.actor.LightArrayRevolverScheduler$$anon$8.nextTick（Scheduler.scala:423）”、“akka.actor.LightArrayRevolverScheduler$$anon$8.run（Scheduler.scala:375）”，“java.lang.Thread.run（Thread.java:745）”] }

我使用了示例LongPiJob.scala中的代码，我搜索了一些关于这个服务器错误的信息，我想可能是版本问题吧

java.lang.AbstractMethodError:com.forszpaniak.LongPiJob$.validate（Ljava/lang/Object；Lcom/typesafe/config/config；）Lspark/jobserver/SparkJobValidation；

我认为对象应该是SparkContext

我用 数据税：4.6 作业服务器：0.5.1 scala:2.10.4 sbt:0.13 火花：1.1.0

---

Spark JobServer 0.5.1与Spark 1.3.0兼容，您使用的是1.1.0。我会先尝试将其更改为0.4.1

  Version   Spark Version
   0.3.1    0.9.1
   0.4.0    1.0.2
   0.4.1    1.1.0
   0.5.0    1.2.0
   0.5.1    1.3.0

然后，您可能需要修改startup_server.sh脚本，使其使用DSE类路径。这将有助于您避免将来出现其他错误

差不多

dse spark-submit --class $MAIN $appdir/spark-job-server.jar --driver-java-options "$GC_OPTS $JAVA_OPTS $LOGGING_OPTS" $conffile 2>&1 &

这里是一个repo，我在其中修改了服务器启动脚本以与DSE一起使用（4.7，但它应该与4.6类似）

---

Spark JobServer 0.5.1与Spark 1.3.0兼容，您使用的是1.1.0。我会先尝试将其更改为0.4.1

  Version   Spark Version
   0.3.1    0.9.1
   0.4.0    1.0.2
   0.4.1    1.1.0
   0.5.0    1.2.0
   0.5.1    1.3.0

然后，您可能需要修改startup_server.sh脚本，使其使用DSE类路径。这将有助于您避免将来出现其他错误

差不多

dse spark-submit --class $MAIN $appdir/spark-job-server.jar --driver-java-options "$GC_OPTS $JAVA_OPTS $LOGGING_OPTS" $conffile 2>&1 &

这里是一个repo，我在其中修改了服务器启动脚本以与DSE一起使用（4.7，但它应该与4.6类似）

---

Thx，您的回答帮助了我；）我有一个错误的作业服务器版本。我还有一个问题，但我会在上面做一个新的主题。我使用你的server_start.sh脚本，但我有两个问题。我如何停止作业服务器，因为server_stop.sh没有停止，而且我在SparkUI甚至spark sumbit中都没有看到任何作业——类spark.jobserver.jobserver等等？我只能在JobserverUIThx中看到我的作业，您的回答帮助了我；）我的作业服务器版本错误。我还有一个问题，但我会在上面添加新的主题。我使用您的server_start.sh脚本，但我有两个问题。我如何停止作业服务器，因为server_stop.sh没有停止此操作，而且我在SparkUI甚至spark sumbit中也没有看到任何作业--类spark.jobserver.jobserver等等？我可以看到我的作业仅在JobserverUI中