Python pyspark在尝试加载cassandra时出错
我正在使用pyspark测试一些示例代码。这是我正在运行的pysparkshell命令Python pyspark在尝试加载cassandra时出错,python,apache-spark,cassandra,pyspark,spark-cassandra-connector,Python,Apache Spark,Cassandra,Pyspark,Spark Cassandra Connector,我正在使用pyspark测试一些示例代码。这是我正在运行的pysparkshell命令 ./bin/pyspark --conf spark.cassandra.connection.host=172.28.0.162 --conf spark.cassandra.input.split.size_in_mb=32 --packages com.datastax.spark:spark-cassandra-connector_2.10:1.4.0 当我运行以下命令时 import os fro
./bin/pyspark --conf spark.cassandra.connection.host=172.28.0.162 --conf spark.cassandra.input.split.size_in_mb=32 --packages com.datastax.spark:spark-cassandra-connector_2.10:1.4.0
当我运行以下命令时
import os
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext
sqlContext.read.format("org.apache.spark.sql.cassandra").options(table="events", keyspace="sams").load().show()
我得到这个例外
Failed to load class for data source: org.apache.spark.sql.cassandra
我可以看到jar文件或下载的包中存在的包。问题是什么
这是我遵循的链接
https://github.com/datastax/spark-cassandra-connector/blob/master/doc/15_python.md
这恰好是spark 1.4中的一个bug
这恰好是spark 1.4中的一个bug
Spark版本是1.4 Passandra版本是2.1.8您使用的是什么操作系统?请尝试擦除软件包缓存并再次运行它。。。也许是腐败了?我唯一能想象的是你构建了scala 2.11 spark?我删除了缓存,但它仍然给我相同的错误spark版本是1.4 Cassandra版本是2.1.8你在使用什么操作系统?尝试擦除包缓存并再次运行它。。。也许是腐败了?我唯一能想象的是你构建了scala 2.11 spark?我删除了缓存,但它仍然给我同样的错误