Java 无法将oracle中的XMLTYPE数据类型加载到Spark SQL中
我有6700万条Java 无法将oracle中的XMLTYPE数据类型加载到Spark SQL中,java,hbase,apache-spark-sql,bigdata,Java,Hbase,Apache Spark Sql,Bigdata,我有6700万条Oracle记录,其中一些列XMLType作为数据类型 我正在使用sparksql从Oracle中提取所有记录,但是我得到了 不支持的数据类型错误 在Spark控制台中 如何更改XMLType,以便将其成功加载到sparksql 我的计划是将所有这些记录从Oracle加载到apachehbase我正在使用sparksql将加载加载到apachehbase添加sparksxml支持库以下是坐标 groupId:com.databricks artifactId:spark-xml_
Oracle
记录,其中一些列XMLType
作为数据类型
我正在使用sparksql
从Oracle
中提取所有记录,但是我得到了
不支持的数据类型错误
在Spark控制台中
如何更改XMLType
,以便将其成功加载到sparksql
我的计划是将所有这些记录从
Oracle
加载到apachehbase
我正在使用sparksql
将加载加载到apachehbase
添加sparksxml支持库以下是坐标
groupId:com.databricks artifactId:spark-xml_2.11版本:0.4.1
然后,您可以将XML文件作为数据帧获取,如:
import org.apache.spark.sql.SQLContext
val sqlContext = new SQLContext(sc)
val df = sqlContext.read
.format("com.databricks.spark.xml")
.option("rowTag", "book")
.load("books.xml")
有关更多信息,请查看
一旦您将其转换为数据帧,您就可以在数据帧上执行spark sql。我们也在寻找解决相同问题的方法,如果您有任何解决方案,请更新我们。谢谢