Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python pyspark在尝试加载cassandra时出错_Python_Apache Spark_Cassandra_Pyspark_Spark Cassandra Connector - Fatal编程技术网

Python pyspark在尝试加载cassandra时出错

Python pyspark在尝试加载cassandra时出错,python,apache-spark,cassandra,pyspark,spark-cassandra-connector,Python,Apache Spark,Cassandra,Pyspark,Spark Cassandra Connector,我正在使用pyspark测试一些示例代码。这是我正在运行的pysparkshell命令 ./bin/pyspark --conf spark.cassandra.connection.host=172.28.0.162 --conf spark.cassandra.input.split.size_in_mb=32 --packages com.datastax.spark:spark-cassandra-connector_2.10:1.4.0 当我运行以下命令时 import os fro

我正在使用pyspark测试一些示例代码。这是我正在运行的pysparkshell命令

./bin/pyspark --conf spark.cassandra.connection.host=172.28.0.162 --conf spark.cassandra.input.split.size_in_mb=32 --packages com.datastax.spark:spark-cassandra-connector_2.10:1.4.0
当我运行以下命令时

import os
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext

sqlContext.read.format("org.apache.spark.sql.cassandra").options(table="events", keyspace="sams").load().show()
我得到这个例外

Failed to load class for data source: org.apache.spark.sql.cassandra
我可以看到jar文件或下载的包中存在的包。问题是什么

这是我遵循的链接

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/15_python.md

这恰好是spark 1.4中的一个bug
这恰好是spark 1.4中的一个bug

Spark版本是1.4 Passandra版本是2.1.8您使用的是什么操作系统?请尝试擦除软件包缓存并再次运行它。。。也许是腐败了?我唯一能想象的是你构建了scala 2.11 spark?我删除了缓存,但它仍然给我相同的错误spark版本是1.4 Cassandra版本是2.1.8你在使用什么操作系统?尝试擦除包缓存并再次运行它。。。也许是腐败了?我唯一能想象的是你构建了scala 2.11 spark?我删除了缓存,但它仍然给我同样的错误