Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/322.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/csharp-4.0/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python中的Spark cassandra连接器_Python_Apache Spark_Cassandra_Spark Cassandra Connector - Fatal编程技术网

Python中的Spark cassandra连接器

Python中的Spark cassandra连接器,python,apache-spark,cassandra,spark-cassandra-connector,Python,Apache Spark,Cassandra,Spark Cassandra Connector,我需要将我的独立Spark连接到python中的Cassandra实例。我已从下载的Apache spark中提取并构建了: tar -xvf spark-1.4.1.tgz sbt/sbt assembly 我添加了更新的./bashrc文件,可以运行Spark。我还设置了Cassandra,可以从python程序中提取数据 如何将Spark连接到Cassandra实例以作为Spark RDD访问Cassandra表?通过Spark Cassandra连接器可以使用与数据帧兼容的接口 基于

我需要将我的独立Spark连接到python中的Cassandra实例。我已从下载的Apache spark中提取并构建了:

tar -xvf spark-1.4.1.tgz
sbt/sbt assembly
我添加了更新的./bashrc文件,可以运行Spark。我还设置了Cassandra,可以从python程序中提取数据


如何将Spark连接到Cassandra实例以作为Spark RDD访问Cassandra表?

通过Spark Cassandra连接器可以使用与数据帧兼容的接口

基于包装连接器的RDD接口也可用

在这两种情况下,最终都会通过

--packages or --jars
并指定您的Cassandra连接主机

--conf spark.cassandra.connection.host=yourhost
数据帧(需要Spark Cassandra连接器) RDD(需要Pypark Cassandra)
数据帧兼容接口可通过Spark Cassandra连接器获得

基于包装连接器的RDD接口也可用

在这两种情况下,最终都会通过

--packages or --jars
并指定您的Cassandra连接主机

--conf spark.cassandra.connection.host=yourhost
数据帧(需要Spark Cassandra连接器) RDD(需要Pypark Cassandra)