Apache spark 如何在无标题的Spark中读取配置单元表

Apache spark 如何在无标题的Spark中读取配置单元表,apache-spark,pyspark,hive,header,Apache Spark,Pyspark,Hive,Header,我试图在pyspark中读取一个蜂巢表,但我也得到了我不想要的标题 文件.csv Id,Name 1,A 2,B 3,C 4,D 蜂巢表 我使用tblproperty(“skip.header.line.count”=“1”)构建配置单元表,并且在配置单元中我正确获取数据,因此配置单元没有问题 我在pyspark中阅读此表时遇到了问题。有jira报告了此问题,并因无法修复而关闭 可能的方法有: 1.您可以直接读取HDFS文件: spark.read.option("header","true"

我试图在pyspark中读取一个蜂巢表,但我也得到了我不想要的标题

文件.csv

Id,Name
1,A
2,B
3,C
4,D
蜂巢表

我使用
tblproperty(“skip.header.line.count”=“1”)构建配置单元表,并且在配置单元中我正确获取数据,因此配置单元没有问题

我在pyspark中阅读此表时遇到了问题。

有jira报告了此问题,并因
无法修复而关闭

可能的方法有:

1.您可以直接读取HDFS文件:

spark.read.option("header","true").option("delimiter",",").csv("<hdfs_path>").show()
spark.sql("select * from <table_name> where <col_name1> != 'id'").show()