File 从一个位置读取多个拼花时如何忽略空拼花文件

File 从一个位置读取多个拼花时如何忽略空拼花文件,file,apache-spark,dataframe,parquet,bigdata,File,Apache Spark,Dataframe,Parquet,Bigdata,我正在尝试将拼花地板文件读取到数据帧,就像这样 val df = sqlContext.read.parquet("<location>/*.parquet") val df=sqlContext.read.parquet(“/*.parquet”) 然而,在目录下,可能存在空的拼花文件(大小为0字节)。是否有一种有效的方法可以忽略读取空文件?在处理空文件时,您是否发现数据帧有任何问题?不管怎样,它都会忽略它们。不,它不会忽略空文件,我说的空,我的意思是它甚至没有模式。如果数据帧

我正在尝试将拼花地板文件读取到数据帧,就像这样

val df = sqlContext.read.parquet("<location>/*.parquet")
val df=sqlContext.read.parquet(“/*.parquet”)

然而,在目录下,可能存在空的拼花文件(大小为0字节)。是否有一种有效的方法可以忽略读取空文件?

在处理空文件时,您是否发现数据帧有任何问题?不管怎样,它都会忽略它们。不,它不会忽略空文件,我说的空,我的意思是它甚至没有模式。如果数据帧读取具有不同模式的多个文件,它将失败。您能告诉我您遇到了什么错误吗?