Hadoop mapreduce中的io.sort.factor和min.num.spips.for.combine之间有什么区别?

Hadoop mapreduce中的io.sort.factor和min.num.spips.for.combine之间有什么区别?,hadoop,mapreduce,Hadoop,Mapreduce,我们正在20节点集群上进行一些性能测试。所以调整一些值。。在那里我遇到了这两处房产。。 io.sort.factor和min.num.spills.for.combine 事实上,我有点困惑,这会影响合并缓冲区内存中溢出的文件 你能更新与此相结合的因素吗。与拆分大小一样,block size.blocksize为64mb。。我没有更改最小和最大拆分大小。。所以分割大小将是相同的。你能更新与此相结合的因素吗。与拆分大小一样,block size.blocksize为64mb。。我没有更改最小和最大

我们正在20节点集群上进行一些性能测试。所以调整一些值。。在那里我遇到了这两处房产。。 io.sort.factor和min.num.spills.for.combine


事实上,我有点困惑,这会影响合并缓冲区内存中溢出的文件

你能更新与此相结合的因素吗。与拆分大小一样,block size.blocksize为64mb。。我没有更改最小和最大拆分大小。。所以分割大小将是相同的。你能更新与此相结合的因素吗。与拆分大小一样,block size.blocksize为64mb。。我没有更改最小和最大拆分大小。。所以分割大小将是相同的。