Apache spark Can';t使用Spark在Datastax上初始化图形

Apache spark Can';t使用Spark在Datastax上初始化图形,apache-spark,cassandra,datastax-enterprise-graph,dse-graph-frames,Apache Spark,Cassandra,Datastax Enterprise Graph,Dse Graph Frames,我正在尝试使用Spark初始化Datastax图,如下所示: val graphBuilder = spark.dseGraph("GRAPH_NAME") 但我有以下例外: Exception in thread "main" java.lang.NoClassDefFoundError: com/datastax/bdp/graph/impl/element/vertex/id/AbstractVertexIdExternalImpl at com.datastax.bdp.graph.s

我正在尝试使用Spark初始化Datastax图,如下所示:

val graphBuilder = spark.dseGraph("GRAPH_NAME")
但我有以下例外:

Exception in thread "main" java.lang.NoClassDefFoundError: com/datastax/bdp/graph/impl/element/vertex/id/AbstractVertexIdExternalImpl
at com.datastax.bdp.graph.spark.graphframe.DseGraphFrameBuilder$.apply(DseGraphFrameBuilder.scala:257)
at com.datastax.bdp.graph.spark.graphframe.SparkSessionFunctions.dseGraph(SparkSessionFunctions.scala:20)
我搜索了一个包含
com/datasax/bdp/graph/impl
的dataxtax jar,但没有找到它


非常感谢您的帮助。提前谢谢

要在运行在外部Spark上的程序中使用DseGraphFrames,您需要与所谓的jar链接。这可以通过以下方式完成(对于Maven):


什么版本的DSE,你们如何提交申请?版本DSE:6.0.4,我用5.0.4测试过。你们如何提交工作?通过
dse spark submit
还是使用单独的spark?我使用的是separet spark请显示您链接到应用程序的内容(Maven/SBT/…)您使用的是BYOS jar,还是仅使用DseGraphFrames?这对我很有用,我还添加了“dse图框”依赖项,我使用的是DseGraphFrameBuilder.dseGraph(cassandraConf.graph\u NAME,spark)要获取DseGraphFrame。感谢lotHi Alex,在添加byos依赖项后,我在运行spark作业时遇到了一个问题:18/12/07 14:12:00 INFO.ApplicationMaster:Final app status:FAILED,exitCode:15,(原因:用户类抛出异常:org.apache.commons.lang.SerializationException:java.lang.ClassNotFoundException:com.datastax.bdp.graph.spark.SerializationSchema位于org.apache.commons.lang.SerializationUtils.deserialize(SerializationUtils.java:166)您知道这个错误吗?
<dependency>
  <groupId>com.datastax.dse</groupId>
  <artifactId>dse-byos_2.11</artifactId>
  <version>6.0.4</version>
</dependency>
<repositories>
    <repository>
      <id>DataStax-Repo</id>
      <url>https://repo.datastax.com/public-repos/</url>
    </repository>
</repositories>
unzip -l dse-byos_2.11-6.0.4.jar|grep AbstractVertexIdExternalImpl
     2839  10-06-2018 15:22   com/datastax/bdp/graph/impl/element/vertex/id/AbstractVertexIdExternalImpl.class