Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/293.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python Pyspark dataframe:将jdbc写入具有给定模式的表的动态创建_Python_Pandas_Postgresql_Pyspark - Fatal编程技术网

Python Pyspark dataframe:将jdbc写入具有给定模式的表的动态创建

Python Pyspark dataframe:将jdbc写入具有给定模式的表的动态创建,python,pandas,postgresql,pyspark,Python,Pandas,Postgresql,Pyspark,有没有一种方法可以像pandas dataframe的方法一样,从pyspark dataframe动态创建具有给定模式的表 类似地,我们可以从pyspark数据帧创建具有给定模式的表吗 jdbcjdbc:postgresql://localhost:5432/postgres,sample_data1,mode=overwrite,properties=prop 在上面的代码中,我们如何给出模式来生成我们想要的表?我想您正在搜索这些选项- createTableOptions 这是一个与JDB

有没有一种方法可以像pandas dataframe的方法一样,从pyspark dataframe动态创建具有给定模式的表

类似地,我们可以从pyspark数据帧创建具有给定模式的表吗

jdbcjdbc:postgresql://localhost:5432/postgres,sample_data1,mode=overwrite,properties=prop


在上面的代码中,我们如何给出模式来生成我们想要的表?

我想您正在搜索这些选项-

createTableOptions

这是一个与JDBC编写器相关的选项。如果指定,此选项允许在创建表时设置特定于数据库的表和分区选项,例如,CREATE table t name string ENGINE=InnoDB。。此选项仅适用于书写

createTableColumnTypes

创建表时要使用的数据库列数据类型,而不是默认值。数据类型信息的指定格式应与创建表列语法相同,例如:name CHAR64,comments VARCHAR1024。指定的类型应为有效的spark sql数据类型。此选项仅适用于书写

实例 指定写入时创建表列数据类型 jdbcDF.write\ .optioncreateTableColumnTypes,名称CHAR64,注释VARCHAR1024\ .jdbcjdbc:postgresql:dbserver,schema.tablename, 属性={用户:用户名,密码:密码} 参考-