Scala 如何在将csv文件加载到配置单元表时跳过页脚/尾部记录

Scala 如何在将csv文件加载到配置单元表时跳过页脚/尾部记录,scala,apache-spark,apache-spark-sql,hiveql,Scala,Apache Spark,Apache Spark Sql,Hiveql,该文件是以逗号分隔的CSV文件 存在用于接收CSV文件的框架。 来自同一文件的头被以下操作跳过: Df.Option(“header”, “true”) 但预告片记录在同一个spark软件包中,我无法跳过同样的逻辑 请帮助处理此数据摄取。请检查此回复: 同一答复的副本: val total = df.count(); val withoutFooter = df.zipWithIndex() .filter(x => x._2 <

该文件是以逗号分隔的CSV文件

存在用于接收CSV文件的框架。 来自同一文件的头被以下操作跳过:

Df.Option(“header”, “true”)
但预告片记录在同一个spark软件包中,我无法跳过同样的逻辑


请帮助处理此数据摄取。

请检查此回复:

同一答复的副本:

val total = df.count();
val withoutFooter = df.zipWithIndex()
                        .filter(x => x._2 < total - 3)
                        .map (x => x._1)
val total=df.count();
val withoutFooter=df.zipWithIndex()
.filter(x=>x.。_2x.。_1)

请检查此回复:

同一答复的副本:

val total = df.count();
val withoutFooter = df.zipWithIndex()
                        .filter(x => x._2 < total - 3)
                        .map (x => x._1)
val total=df.count();
val withoutFooter=df.zipWithIndex()
.filter(x=>x.。_2x.。_1)

您可以尝试在配置单元表TBLPROPERTIES('skip.header.line.count'='1','skip.footer.line.count'='1')中设置此属性;#当跳过1行作为页眉或页脚时。您可以尝试在配置单元表TBLPROPERTIES('skip.header.line.count'='1','skip.footer.line.count'='1');#当跳过1行作为页眉或页脚时。有这样的担心吗?