pyspark在Cassandra表中的行上设置ttl

pyspark在Cassandra表中的行上设置ttl,pyspark,azure-databricks,Pyspark,Azure Databricks,我正在使用PySpark处理Cassandra中的数据,并希望在行上设置ttl。我尝试了下面的代码,它运行得很好,但是运行后我检查了表,记录/行仍然存在 def set_ttl(tableName, keyspaceName, dataDf): (dataDf.write .format("org.apache.spark.sql.cassandra") .options(table = tableName, keyspace = keyspaceNa

我正在使用PySpark处理Cassandra中的数据,并希望在行上设置ttl。我尝试了下面的代码,它运行得很好,但是运行后我检查了表,记录/行仍然存在

def set_ttl(tableName, keyspaceName, dataDf):
  (dataDf.write
          .format("org.apache.spark.sql.cassandra")
          .options(table = tableName, keyspace = keyspaceName, ttl = str(1))
          .mode("append")
          .save())


emails='abc@test.com'.split(",")
df = read_table(my_table, my_keyspace,"*").where(col("email").isin(emails))

set_ttl(my_table, my_keyspace, df)

我在谷歌上搜索了一下,得到了冲突的答案,一些人说这是可行的,但另一些人说这是受支持的。因为我在运行脚本时没有收到任何错误,所以我认为它应该可以工作?请提供帮助。

如果要添加笔记本标签,请添加相应的标签,例如,它是Databricks notebook,并且没有这样的选项。然后不要添加标签,或者为其创建特定的标签,但肯定不要为所有笔记本创建新的标签,因为类型很多,而且非常模糊。如果要添加笔记本标签,添加适当的标签,例如,它是Databricks笔记本,没有这样的选项。要么不添加标签,要么为其创建一个特定的标签,但当然不要为所有笔记本创建一个新的标签,因为有许多类型,这是非常模糊的。