Jdbc spark作业服务器错误classnotfoundexception

我一直在用spark shell尝试spark。我所有的数据都是sql

  I used to include external jars using the --jars flag like /bin/spark-shell --jars /path/to/mysql-connector-java-5.1.23-bin.jar --master spark://sparkmaster.com:7077

  I have included it in class path by changing  the bin/compute-classpath.sh file 
  I was running succesfully with this config. 

现在，当我通过jobserver运行独立作业时。我收到以下错误消息

result: {
    "message" : "com.mysql.jdbc.Driver"
    "errorClass" : "java.lang.classNotFoundException"
    "stack" :[.......]
}

我已经在local.conf文件中包含了jar文件，如下所示。 上下文设置{ ..... 依赖jar URI=[”file:///absolute/path/to/the/jarfile"] ......

---

}您的工作区中可能没有

/path/to/mysql-connector-java-5.1.23-bin.jar

。
您可以将所需的依赖项复制到所有spark Worker或

将提交的jar与所需的依赖项捆绑起来

。

---

我使用maven来构建jar。依赖项的范围必须是运行时。

您的所有依赖项都应该包含在

spark jobserver

应用程序JAR中（例如，创建一个“uber JAR”），或者包含在spark执行器的类路径中。我建议配置类路径，因为它更快，需要更少的磁盘空间，因为无论何时应用程序运行，都不需要将第三方库依赖项复制到每个辅助程序

以下是在Spark 1.3.1上配置工作（执行）类路径的步骤：

将第三方JAR复制到每个Spark Worker和Spark master

将JAR放在每个主机上的相同目录中（例如/home/ec2 user/lib）

在Spark主机上的Spark

/root/Spark/conf/Spark defaults.conf

文件中添加以下行：

spark.executor.extraClassPath/root/ephemeral hdfs/conf:/home/ec2 user/lib/name-of-your-jar-file.jar

以下是我自己修改使用斯坦福NLP库的示例：

spark.executor.extraClassPath/root/ephemeral hdfs/conf:/home/ec2 user/lib/stanford-corenlp-3.4.1.jar:/home/ec2 user/lib/stanford-corenlp-3.4.1-models.jar

curl--data binary@/PATH/jobs\u jar\u 2.10-1.0.jar 192.168.0.115:8090/jars/job\u to\u注册

用于发布依赖项jar

curl-d''http://192.168.0.115:8090/contexts/new_context?dependent-jar URI=file:///path/dependent.jar“

这适用于Jobserver1.6.1