Sql 如何使用SPARKQL同时查询目录中的多个文件夹

Sql 如何使用SPARKQL同时查询目录中的多个文件夹,sql,hadoop,apache-spark,hive,hdfs,Sql,Hadoop,Apache Spark,Hive,Hdfs,我正在尝试执行一个简单的插入覆盖表SELECT*FROM 问题是表2位于HDFS中的特定目录中,数据分散在8个不同的文件夹中 每个文件夹都包含整个数据的分区,当我查询主目录时,它会显示以下错误: INFO FileInputFormat: Total input paths to process : 8 如何通过查询访问所有数据 谢谢听起来好像表2没有正确分区。你能在table2的根目录中发布hdfs-ls吗?你怎么会认为INFO表示有错误?因为在这之后,它会破坏一切haha@Dududuma

我正在尝试执行一个简单的
插入覆盖表SELECT*FROM
问题是表2位于HDFS中的特定目录中,数据分散在8个不同的文件夹中

每个文件夹都包含整个数据的分区,当我查询主目录时,它会显示以下错误:

INFO FileInputFormat: Total input paths to process : 8
如何通过查询访问所有数据


谢谢

听起来好像
表2
没有正确分区。你能在
table2
的根目录中发布
hdfs-ls
吗?你怎么会认为
INFO
表示有错误?因为在这之后,它会破坏一切haha@Dududumarkovitzokey,我会将结果发布到@Philantrover谢谢,而“破坏”(?)是否有真正的错误消息?