Hadoop中的映射程序数
假设我有100个文件，每个文件大小为100MB，块大小为64MB 1） 处理这100个文件需要多少映射程序Hadoop中的映射程序数,hadoop,mapper,Hadoop,Mapper,假设我有100个文件，每个文件大小为100MB，块大小为64MB 1） 处理这100个文件需要多少映射程序 2） 正如我们所知，输入拆分大小的最大限制是块大小。所以在我们的例子中，它将是64MB。因此，如果映射程序开始处理文件的输入分割，即64MB，它将如何处理剩余的36MB。此映射器负责处理剩余的36MB，还是将在其他映射器中进行处理？由于块大小为64mb，因此将生成总共200个映射器 同一个文件将由2个映射器处理，因为它的输入拆分位于不同的位置，一个映射器将处理前64MB，另一个映射器将处理
2） 正如我们所知，输入拆分大小的最大限制是块大小。所以在我们的例子中，它将是64MB。因此，如果映射程序开始处理文件的输入分割，即64MB，它将如何处理剩余的36MB。此映射器负责处理剩余的36MB，还是将在其他映射器中进行处理？由于块大小为64mb，因此将生成总共200个映射器 同一个文件将由2个映射器处理，因为它的输入拆分位于不同的位置，一个映射器将处理前64MB，另一个映射器将处理剩余的36MB