Apache spark Pyspark和Cassandra连接错误

我遇到了一个问题。当我在导入cassandra连接器时编写示例cassandra连接代码时，会出现错误

我像下面的代码一样启动脚本（他们都给出了错误）

但给出以下错误的同时

import pyspark_cassandra

ImportError:没有名为pyspark_cassandra的模块

我哪部分做错了

---

注意：我已经安装了cassandra数据库。

您混淆了DataStax的Spark cassandra连接器（在您添加到Spark submit的jar中）和TargetHolding的PySpark cassandra项目（其中包含

PySpark_cassandra

模块）。后者已被弃用，因此您可能应该使用Spark Cassandra连接器。可以找到此包的文档

要使用它，可以添加以下标志以spark submit：

--conf spark.cassandra.connection.host=127.0.0.1 \
--packages com.datastax.spark:spark-cassandra-connector_2.11:2.0.0-M3

当然，请使用Cassandra正在侦听的IP地址，并检查您需要使用的连接器版本：2.0.0-M3是最新版本，适用于Spark 2.0和大多数Cassandra版本。如果您使用的是不同版本的Spark，请参阅

2.10

或

2.11

是Spark版本的Scala版本。如果您使用Spark 2，默认情况下它是2.11，在2.x之前它是2.10版

使用连接器的最好方法是使用它读取数据帧，如下所示：

 sqlContext.read\
  .format("org.apache.spark.sql.cassandra")\
  .options(table="kv", keyspace="test")\
  .load().show()

---

有关更多详细信息，请参阅文档

您从何处获得该导入声明？您是否已阅读卡桑德拉连接器的文档：？该import语句没有在任何地方提到，因为实际上没有具有该名称的模块。

 sqlContext.read\
  .format("org.apache.spark.sql.cassandra")\
  .options(table="kv", keyspace="test")\
  .load().show()