Apache spark 拼花地板顶部的外部蜂巢台未返回任何数据

Apache spark 拼花地板顶部的外部蜂巢台未返回任何数据,apache-spark,hive,parquet,Apache Spark,Hive,Parquet,我通过spark在拼花文件夹上创建了一个蜂巢桌。在一个测试服务器中,它运行良好,并在hive版本2.6.5.196中给出结果,但在生产中,它没有在hive版本2.6.5.179中给出任何记录。有人能指出确切的问题是什么吗?如果您在现有分区结构上创建了表,您必须让表知道在这个位置有分区 MSCK修复表表_name;-添加缺少的分区 从表_name;-你现在应该归还记录了吗 如果该位置中只有文件,并且是预期格式,则不应出现此问题 您可以通过以下方式进行验证: 显示创建表_name;-查看所需的格式

我通过spark在拼花文件夹上创建了一个蜂巢桌。在一个测试服务器中,它运行良好,并在hive版本2.6.5.196中给出结果,但在生产中,它没有在hive版本2.6.5.179中给出任何记录。有人能指出确切的问题是什么吗?

如果您在现有分区结构上创建了表,您必须让表知道在这个位置有分区

MSCK修复表表_name;-添加缺少的分区 从表_name;-你现在应该归还记录了吗 如果该位置中只有文件,并且是预期格式,则不应出现此问题

您可以通过以下方式进行验证:

显示创建表_name;-查看所需的格式
在通过spark编写的拼花文件夹顶部创建蜂巢桌

检查您正在使用的数据库是否可用 显示数据库

检查您在测试服务器上创建的表的ddl以及在生产服务器上创建的表的ddl 显示创建表的名称

确保两个ddl完全匹配

是否使用msck repair table_name加载增量数据或所有分区的数据

从表名称中选择*以查看记录


您在这两种情况下都运行了MSCK修复吗?是的,我在这两种情况下都尝试了MSCK修复