Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何为Spark Dataframe创建自定义编写器?_Apache Spark_Dataframe_Apache Spark Sql - Fatal编程技术网

Apache spark 如何为Spark Dataframe创建自定义编写器?

Apache spark 如何为Spark Dataframe创建自定义编写器?,apache-spark,dataframe,apache-spark-sql,Apache Spark,Dataframe,Apache Spark Sql,如何为Spark Dataframe创建自定义写入格式,以便像df.write.format(“com.mycompany.mydb”).save()那样使用它?我试着通读Datastax Cassandra连接器代码,但仍然无法使用Spark的 如果您使用的是Spark版本

如何为Spark Dataframe创建自定义写入格式,以便像
df.write.format(“com.mycompany.mydb”).save()那样使用它?我试着通读Datastax Cassandra连接器代码,但仍然无法使用Spark的


如果您使用的是Spark版本<2.3,则可以使用Spark数据源API V1。

Spark 3.0完全更改了API。添加了一些新接口,例如和

你可能会觉得有用