Hive 配置单元元数据存储是否会自动发现新添加的数据?

Hive 配置单元元数据存储是否会自动发现新添加的数据?,hive,Hive,嗨,我有一个关于蜂巢的问题。有人能帮我吗?假设我向配置单元表添加了一个分区。然后,如果我继续在hdfs/s3中向该分区添加文件,当我在该相应分区上运行查询时,当您在hdfs中手动而不是通过配置单元查询/语句添加分区时,它是否能够发现添加的新数据,Hive不会自动捕获这些目录详细信息,我们需要通过运行MSCK REPAIR使HMS知道新添加的HDFS目录 默认情况下,运行时,MSCK REPAIR TABLEHive会在HDFS中为该表查找新添加的分区,并使用更新的目录详细信息更新HMS。完成后,

嗨,我有一个关于蜂巢的问题。有人能帮我吗?假设我向配置单元表添加了一个分区。然后,如果我继续在hdfs/s3中向该分区添加文件,当我在该相应分区上运行查询时,当您在hdfs中手动而不是通过配置单元查询/语句添加分区时,它是否能够发现添加的新数据,Hive不会自动捕获这些目录详细信息,我们需要通过运行
MSCK REPAIR
使HMS知道新添加的HDFS目录

默认情况下,运行时,
MSCK REPAIR TABLE
Hive会在HDFS中为该表查找新添加的分区,并使用更新的目录详细信息更新HMS。完成后,将捕获对新添加分区数据的查询(假设HDFS中的分区目录中有包含数据的文件)

在Hive 3.0版中,还提供了用于MSCK修复的附加选项

有关更多信息,请参见以下页面:


  • 希望以上答案对你有所帮助

    当您在HDFS中手动而不是通过配置单元查询/语句添加分区时,配置单元不会自动捕获这些目录详细信息,我们需要通过运行
    MSCK REPAIR
    使HMS知道新添加的HDFS目录

    默认情况下,运行时,
    MSCK REPAIR TABLE
    Hive会在HDFS中为该表查找新添加的分区,并使用更新的目录详细信息更新HMS。完成后,将捕获对新添加分区数据的查询(假设HDFS中的分区目录中有包含数据的文件)

    在Hive 3.0版中,还提供了用于MSCK修复的附加选项

    有关更多信息,请参见以下页面:


  • 希望以上答案对你有所帮助

    添加新文件后,数据将可访问。阅读关于统计信息的回答:添加新文件后,数据将可访问。阅读以下有关统计数据的答案: