Scala 无法在Informix数据库的HDFS上保存数据帧
我们能够将Informix数据库与驱动程序com.Informix.jdbc.IfxDriver连接起来。 但是,我们无法在HDFS上为任何表保存数据帧,但我们可以为任何表打印SCAMA 已尝试以下代码:Scala 无法在Informix数据库的HDFS上保存数据帧,scala,apache-spark,hdfs,informix,Scala,Apache Spark,Hdfs,Informix,我们能够将Informix数据库与驱动程序com.Informix.jdbc.IfxDriver连接起来。 但是,我们无法在HDFS上为任何表保存数据帧,但我们可以为任何表打印SCAMA 已尝试以下代码: val informix = sqlContext.read.format("jdbc").options(Map("url" -> "urlname", "user" -> "username", "password" -> "xxxxx",
val informix = sqlContext.read.format("jdbc").options(Map("url" -> "urlname",
"user" -> "username",
"password" -> "xxxxx",
"dbtable" -> "tablename",
"driver" -> "com.informix.jdbc.IfxDriver"
).option("inferSchema", "false").option("nullValue","null")).load()
informix.write.format("com.databricks.spark.csv").save("pathname")
我们得到以下错误信息:
java.sql.SQLException:systemerror:java.lang.NumberFormatException
我们正在使列名称在源中包含整型数据值。但是,我们希望存储在HDFS上,而不考虑数据类型?请建议保存的方法,以将DF保存在HDFS上 您是否在spark csv软件包中看到过此问题:?感谢您的回复,是的,在发布此问题之前已尝试过此问题,但不幸的是没有成功。如果可能,请告诉我您是否知道任何其他解决方案。