Fatal编程技术网
  • pyspark/
  • 将pyspark群集连接到Cassandra群集错误o64.load

将pyspark群集连接到Cassandra群集错误o64.load

pyspark

将pyspark群集连接到Cassandra群集错误o64.load,pyspark,datastax,spark-cassandra-connector,Pyspark,Datastax,Spark Cassandra Connector,我正在尝试将PySpark群集连接到Cassandra群集。我执行了以下操作来设置从Spark到Cassandra的连接器： ./bin/spark-submit --packages com.datastax.spark:spark-cassandra-connector_2.10:1.5.0-M2 ./exaples/testing.py 我在python文件中设置了以下内容： from pyspark import SparkContext, SparkConf from pyspark

我正在尝试将PySpark群集连接到Cassandra群集。我执行了以下操作来设置从Spark到Cassandra的连接器：

./bin/spark-submit --packages com.datastax.spark:spark-cassandra-connector_2.10:1.5.0-M2 ./exaples/testing.py
我在python文件中设置了以下内容：

from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext

SPARK_IP = "ip-111-11-1-1.us-west-2.compute.internal"
SPARK_PORT = "7077"
CASSANDRA_PORT = "222.22.2.22"

conf = SparkConf() \
   .setMaster("spark://%s:%s" % (SPARK_IP, SPARK_PORT)) \
   .set("spark.cassandra.connection.host", CASSANDRA_PORT)
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)
在我的Cassandra集群中，我创建了一个键空间和一个表。然后，我尝试阅读pyspark中的Cassandra，并执行以下操作：

sqlContext.read \
.format("org.apache.spark.sql.cassandra") \
.options(table="poop", keyspace="demo") \
.load().show()
我遇到以下错误，不确定如何修复：

回溯（最近一次呼叫最后一次）： 文件“/usr/local/spark/examples/testing.py”，第37行，在 .选项（table=“poop”，keyspace=“demo”）\ 文件“/usr/local/spark/python/lib/pyspark.zip/pyspark/sql/readwriter.py”，第155行，装入 文件“/usr/local/spark/python/lib/py4j-0.10.4-src.zip/py4j/java_gateway.py”，第1133行，在调用中 文件“/usr/local/spark/python/lib/pyspark.zip/pyspark/sql/utils.py”，第63行，deco格式 文件“/usr/local/spark/python/lib/py4j-0.10.4-src.zip/py4j/protocol.py”，第319行，在get_return_值中 py4j.protocol.Py4JJavaError:调用o64.load时出错。 ：java.lang.ClassNotFoundException:未能找到数据源：org.apache.spark.sql.cassandra。请在以下网址查找包裹：