Hadoop元数据类型

Hadoop元数据类型,hadoop,metadata,Hadoop,Metadata,在我们实现Hadoop之前,我正在研究Hadoop的元数据功能。Hadoop元数据一词似乎有多种含义。我将列出我对这个术语的三个理解。但我想回答一个问题,“Hadoop中的数据有什么元数据?” 名称节点元数据-存在什么,以便名称节点知道数据块在哪里,数据块由什么文件组成。。。基本上,Hadoop知道数据在哪里。(虽然这是必要的,但作为元数据消费者,这似乎并不是那么有价值。) 文件元数据-来自文件系统外壳。我能到哪里 权限数量\u副本\u用户ID组ID文件大小修改\u日期修改\u时间文件名 HCa

在我们实现Hadoop之前,我正在研究Hadoop的元数据功能。Hadoop元数据一词似乎有多种含义。我将列出我对这个术语的三个理解。但我想回答一个问题,“Hadoop中的数据有什么元数据?”

  • 名称节点元数据-存在什么,以便名称节点知道数据块在哪里,数据块由什么文件组成。。。基本上,Hadoop知道数据在哪里。(虽然这是必要的,但作为元数据消费者,这似乎并不是那么有价值。)
  • 文件元数据-来自文件系统外壳。我能到哪里 权限数量\u副本\u用户ID组ID文件大小修改\u日期修改\u时间文件名
  • HCatalog-(不完全理解)存储用户通过Hive和Pig之类的东西生成的模式或表信息。然后,我有类似于模式的元数据,但它是有限的,可以说是数据库元数据
  • 所以Hadoop中的元数据对我来说有点零碎。我不在乎名称节点元数据的块在哪里。但Hadoop中是否有足够的元数据来回答以下问题: Hadoop中有哪些数据? 什么使用什么数据? 数据是什么时候进入Hadoop的

    总结一下我的问题:Hadoop有哪些有用的元数据信息用于元数据消费目的

    谢谢