Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java Spark Cassandra连接器基简单程序获取火花记录错误_Java_Apache Spark_Cassandra - Fatal编程技术网

Java Spark Cassandra连接器基简单程序获取火花记录错误

Java Spark Cassandra连接器基简单程序获取火花记录错误,java,apache-spark,cassandra,Java,Apache Spark,Cassandra,我正在尝试一个非常基本的hello world程序,用于java+spark+cassandra 最初我有一些混合版本的库,这导致了NoSuchMethodError(#5)。当我得到正确的版本时,我得到了火花记录的noclassdefound错误(#4)。这是来自卡桑德拉连接器代码。我从github的b2.3分支构建了它,它只在主服务器(使用sbt)之后提交了两次 spark logging问题的所有解决方案都指向迁移到旧版本。这对我们来说不是一个切实可行的解决方案,因为我们需要为未来的发展找

我正在尝试一个非常基本的hello world程序,用于java+spark+cassandra

最初我有一些混合版本的库,这导致了NoSuchMethodError(#5)。当我得到正确的版本时,我得到了火花记录的noclassdefound错误(#4)。这是来自卡桑德拉连接器代码。我从github的b2.3分支构建了它,它只在主服务器(使用sbt)之后提交了两次

spark logging问题的所有解决方案都指向迁移到旧版本。这对我们来说不是一个切实可行的解决方案,因为我们需要为未来的发展找到答案。 想知道为什么卡桑德拉连接器的最新稳定版本提到了现在不再可用的spark logging??。 感谢您的帮助

Spark版本:2.3.0 卡桑德拉:3.9.0

相关的代码片段粘贴在下面

   #1 SparkConf sparkConf = new SparkConf().setAppName("appname")
        .setMaster("local");
   #2 sparkConf.set("spark.cassandra.connection.host", "127.0.0.1"); 

   #3 JavaSparkContext ctx = new JavaSparkContext(sparkConf);

   #4 CassandraConnector connector = CassandraConnector.apply(ctx.getConf()); <<<< org/apache/spark/logging noclassdeffound error

   #5 try (Session session = connector.openSession()) { <<< nosuchmethoderror: scala.runtime.objectref.zero()lscala/runtime/objectref
#1 SparkConf SparkConf=new SparkConf().setAppName(“appname”)
.setMaster(“本地”);
#2 sparkConf.set(“spark.cassandra.connection.host”,“127.0.0.1”);
#3 JavaSparkContext ctx=新的JavaSparkContext(sparkConf);
#4 CassandraConnector connector=CassandraConnector.apply(ctx.getConf()) 首先要解决的是

<dependency>
    <groupId>com.datastax.spark</groupId>
    <artifactId>spark-cassandra-connector-java_2.11</artifactId>
    <version>1.6.0-M1</version>
</dependency>  

com.datasax.spark

例如pom文件。

感谢您的回复。我删除了java连接器依赖项并消除了spark日志记录问题,但我回到了这个问题:线程“main”java.lang.NoSuchMethodError中的异常:scala.runtime.ObjectRef.zero()Lscala/runtime/ObjectRef;在com.datastax.spark.connector.cql.CassandraConnector$.com$datastax$spark$connector$cql$CassandraConnector$$createSession(CassandraConnector.scala)上,下一个问题是spark sql的版本是2.3,而所有其他spark库的版本都是2.2.1。如果你转到2.3,你也需要spark Cassandra connector 2.3。我已经在使用卡桑德拉连接器2.3了。我将尝试将所有spark LIB切换到2.3。谢谢汉克斯,这有助于解决问题。依赖性雷区比平常更难:)
<dependency>
    <groupId>com.datastax.spark</groupId>
    <artifactId>spark-cassandra-connector-java_2.11</artifactId>
    <version>1.6.0-M1</version>
</dependency>