如何使用spark scala将数据帧转换为RDD并存储在cassandra中

如何使用spark scala将数据帧转换为RDD并存储在cassandra中,scala,apache-spark,cassandra,Scala,Apache Spark,Cassandra,如何将数据帧转换为RDD并将其存储在Spark Scala中的Cassandra中。 考虑下面的例子, emp_id| emp_city|emp_name 1|Hyderabad| ram 4| Banglore| deeksha 这里我仅使用3列作为示例,但实际上我需要处理18列。您可以直接保存DF,而无需转换为RDD df.write.format("org.apache.spark.sql.cassandra").options(Map( "table" -> "employ

如何将数据帧转换为RDD并将其存储在Spark Scala中的Cassandra中。 考虑下面的例子,

emp_id| emp_city|emp_name

 1|Hyderabad| ram
 4| Banglore| deeksha

这里我仅使用3列作为示例,但实际上我需要处理18列。

您可以直接保存DF,而无需转换为RDD

df.write.format("org.apache.spark.sql.cassandra").options(Map( "table" -> "employee", "keyspace" -> "emp_data")).save()

谢谢。

您好,谢谢,我已经尝试过这个选项,它可以很好地处理上面这样的简单表,但是我几乎没有时间戳列和空值。当我尝试使用此选项时,其给出的错误是java.lang.IllegalArgumentException:requirement failed:Invalid row size:18而不是17。您好,有关此问题的详细信息,请查找以下链接: