如何使用spark scala将数据帧转换为RDD并存储在cassandra中
如何将数据帧转换为RDD并将其存储在Spark Scala中的Cassandra中。 考虑下面的例子,如何使用spark scala将数据帧转换为RDD并存储在cassandra中,scala,apache-spark,cassandra,Scala,Apache Spark,Cassandra,如何将数据帧转换为RDD并将其存储在Spark Scala中的Cassandra中。 考虑下面的例子, emp_id| emp_city|emp_name 1|Hyderabad| ram 4| Banglore| deeksha 这里我仅使用3列作为示例,但实际上我需要处理18列。您可以直接保存DF,而无需转换为RDD df.write.format("org.apache.spark.sql.cassandra").options(Map( "table" -> "employ
emp_id| emp_city|emp_name
1|Hyderabad| ram
4| Banglore| deeksha
这里我仅使用3列作为示例,但实际上我需要处理18列。您可以直接保存DF,而无需转换为RDD
df.write.format("org.apache.spark.sql.cassandra").options(Map( "table" -> "employee", "keyspace" -> "emp_data")).save()
谢谢。您好,谢谢,我已经尝试过这个选项,它可以很好地处理上面这样的简单表,但是我几乎没有时间戳列和空值。当我尝试使用此选项时,其给出的错误是java.lang.IllegalArgumentException:requirement failed:Invalid row size:18而不是17。您好,有关此问题的详细信息,请查找以下链接: