Scala spark jobserver群集上的上下文错误

我们正在spark群集上启动spark jobserver

要部署服务器，请遵循github.com/spark jobserver/spark jobserver#deployment上的文档。我们通过运行

/server\u deploy.sh local

来部署

我已经将我们的

local.conf

和

local.sh

上传到了pastebin-

local.conf-

local.sh-

然后，我们从spark根文件夹启动集群主服务器和工作服务器，运行以下命令

./sbin/master-start.sh  
./bin/spark-class org.apache.spark.deploy.worker.Worker   spark://IP:PORT

正在检查localhost:8080，它似乎工作正常

然后通过运行

/server\u start.sh--master来启动服务器spark://IP:PORT --部署模式集群

，再次检查localhost:8080，我们可以看到服务器已启动并运行在worker上的一个核心上。通过检查localhost:8090，我们可以看到spark jobserver也已启动并正在运行

然后，我们通过运行以下命令创建一个自定义上下文，其中包括CassandraSQLContext（github.com/datastax/spark cassandra connector/blob/master/spark cassandra connector/src/main/scala/org/apache/spark/sql/cassandra/CassandraSQLContext.scala）

curl -d "" 'localhost:8090/contexts/cassandra-context?context-factory=spark.jobserver.context.CassandraContextFactory&num-cpu-cores=4&memory-per-node=512m'

然后我们收到以下错误

{
    "status": "CONTEXT INIT ERROR",
    "result": {
        "errorClass": "java.lang.NoClassDefFoundError",
        "cause": "org.apache.spark.sql.cassandra.CassandraSQLContext",
        "stack":  ["java.net.URLClassLoader.findClass(URLClassLoader.java:381)"...
    }
}

我们试图通过在

local.conf

dependent-jar-uris = ["file:///path/to/jar.jar"]

这就产生了同样的错误

我们还尝试将整个spark cassandra connector src文件夹包含在我们的job server extras中，在运行

/server\u deploy.sh local

时，几乎每个文件上的错误

文件行长度都超过110个字符

我们将非常感谢任何可能的帮助。
我只想将--packages行添加到用于启动JobServer的spark submit中。可能是解决这个问题最简单的方法

看



您只需将--packages添加到服务器启动脚本中即可

/server\u start.sh--软件包数据税：spark cassandra连接器：VersionYouWant
我只想将--packages行添加到用于启动JobServer的spark submit中。可能是解决这个问题最简单的方法

看



您只需将--packages添加到服务器启动脚本中即可

/server\u start.sh--软件包数据税：spark cassandra连接器：VersionYouWant
感谢您的回复，我们通过手动添加缺失的罐子解决了问题。感谢您的回复，我们通过手动添加缺失的罐子解决了问题。