hadoop mapreduce.partition.keypartitioner.options不工作
我只想在key的第一个字段与reducer相同的地方对数据进行分区hadoop mapreduce.partition.keypartitioner.options不工作,hadoop,mapreduce,partition,Hadoop,Mapreduce,Partition,我只想在key的第一个字段与reducer相同的地方对数据进行分区例如,[11***]数据。 但它似乎不起作用,我真的不知道为什么 环境 Hadoop版本 代码run.sh在这里--> 输入文件是testfile1---> 结果是,所有的[11****]数据不会发送到同一个减速机。。。有人知道为什么吗?多谢各位 现在我知道,删除这一行很有用 -D map.output.key.field.separator="\t" \ 删除此选项后,结果将是正确的,但由于原因会更加混乱。 map.ou
例如,
[11***]
数据。
但它似乎不起作用,我真的不知道为什么
环境
Hadoop版本
代码run.sh在这里-->
输入文件是testfile1--->
结果是,所有的[11****]
数据不会发送到同一个减速机。。。有人知道为什么吗?多谢各位
现在我知道,删除这一行很有用
-D map.output.key.field.separator="\t" \
删除此选项后,结果将是正确的,但由于原因会更加混乱。
map.output.key.field.separator的默认值似乎只是一个选项卡,但在我将其写入此处后,它会出错………如果您添加输入和code@cricket_007谢谢,我已经在上面添加了这些信息。
11 5 333 111
11 5 777 000
11 3 888 999
11 9 988 888
11 7 234 2342
11 5 4 4
15 9 230 134
12 8 232 834
15 77 220 000
15 33 256 399
11 5 999 888
15 9 222 111
14 88 372 233
15 9 66 77
11 5 821 221
11 0 11 11
15 0 22 22
12 0 33 33
14 0 44 44
-D map.output.key.field.separator="\t" \