hadoop HDFS blcok大小注意事项

hadoop HDFS blcok大小注意事项,hadoop,Hadoop,有人能告诉我设置HDFS块大小时,以下哪一项最不重要 namenode上的内存量 名称节点数 将存储在HDFS中的文件数 将存储在HDFS中的典型文件的大小 名称节点的磁盘容量 我认为重要的是: 1.namenode上的内存量-更多内存意味着您可以允许更多的块,使它们更小 2.始终有一个namenode。次要名称节点不影响可伸缩性 3.要存储的文件越大,所需的块就越大 4.使块大小远大于典型文件大小没有什么意义。换句话说,如果您的典型文件有几十MB,那么块大小无关紧要 5.通常并不重要,因为Na

有人能告诉我设置HDFS块大小时,以下哪一项最不重要

  • namenode上的内存量
  • 名称节点数
  • 将存储在HDFS中的文件数
  • 将存储在HDFS中的典型文件的大小
  • 名称节点的磁盘容量
  • 我认为重要的是: 1.namenode上的内存量-更多内存意味着您可以允许更多的块,使它们更小
    2.始终有一个namenode。次要名称节点不影响可伸缩性
    3.要存储的文件越大,所需的块就越大
    4.使块大小远大于典型文件大小没有什么意义。换句话说,如果您的典型文件有几十MB,那么块大小无关紧要
    5.通常并不重要,因为NameNode将所有内容存储在内存中,而且通常磁盘要大得多

    我想说的是,在大多数情况下,块的大小越大越好,因为您获得了NameNode内存,您可以用更大的开销减少映射任务的数量,并且如果有足够的文件要处理,您可以在任何情况下使用所有的任务跟踪器