Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark spark cassandra connect python deleteFromCassandra方法_Apache Spark_Cassandra_Spark Cassandra Connector - Fatal编程技术网

Apache spark spark cassandra connect python deleteFromCassandra方法

Apache spark spark cassandra connect python deleteFromCassandra方法,apache-spark,cassandra,spark-cassandra-connector,Apache Spark,Cassandra,Spark Cassandra Connector,我正在使用Databricks笔记本电脑上的Spark、Cassandra、Spark Cassandra连接器,根据他们的网站,我们可以使用“deleteFromCassandra”删除行:, 下面是我的python脚本: def read_table(tableName,kespace, columns): dfData = (spark .read .format("org.apache.spark.sql.cassandra") .op

我正在使用Databricks笔记本电脑上的Spark、Cassandra、Spark Cassandra连接器,根据他们的网站,我们可以使用“deleteFromCassandra”删除行:, 下面是我的python脚本:

def read_table(tableName,kespace, columns):
  dfData = (spark
        .read
        .format("org.apache.spark.sql.cassandra")
        .options(table = tableName, keyspace = kespace)
        .load()
        .select(*columns))
  return dfData 

emails='abc@test.com'.split(",")
df = read_table(my_table, my_keyspace,"*").where(col("email").isin(emails))
df.rdd.deleteFromCassandra(my_keyspace, my_table)
但它失败了:

AttributeError: 'RDD' object has no attribute 'deleteFromCassandra'

注意到他们提供的所有示例都在Scala中,这是否意味着函数'deleteFromCassandra'在Python中不可用

使用stock Spark Cassandra连接器是不可能的,因为Python绑定只支持数据帧。但是p应该是可能的,它也可以在as
——包anguenot:pyspark cassandra:2.4.0
上获得。大概是这样的:

dataFrame.rdd().deleteFromCassandra(键空间,表)

使用stock Spark Cassandra连接器是不可能的,因为Python绑定只支持数据帧。但是p应该是可能的,它也可以在as
——包anguenot:pyspark cassandra:2.4.0
上获得。大概是这样的:

dataFrame.rdd().deleteFromCassandra(键空间,表)
希望这能解决问题-

import com.datastax.spark.connector._
希望这能解决问题-

import com.datastax.spark.connector._

问题是关于Python,而不是Scala!问题是关于Python,而不是Scala!