Dataframe 使用spark datastax连接器忽略具有数据帧的空值

我们有一个超过50列的Cassandra模式，我们通过使用Spark（数据帧而非rdd）转换数据，将来自多个数据源的数据插入其中

由于数据稀少，我们遇到了许多墓碑的问题

已经尝试了

spark.cassandra.output.ignoreNulls=true

，但它不起作用。不在cassandra中写入空值的正确配置是什么

---

我正在使用齐柏林飞艇运行我的spark代码并将数据推送到C*

找到了解决方案：

文档中有一个提示：在数据集上设置连接器特定选项的

下

主题

确切的代码如下所示：

transformedData.write.format("org.apache.spark.sql.cassandra").option("header","false").option("spark.cassandra.output.ignoreNulls", true).mode("append").options(Map( "table" -> table_name, "keyspace" -> keyspace_name)).save()

---

我尝试了这个，但是我仍然在我的Cassandra表中得到空值。是否还有其他可能需要设置或更改的内容。请建议。您使用的是原始数据类型还是复杂数据类型