Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/django/23.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hive 将配置单元上的映射器最大数量设置为1_Hive_Mappers - Fatal编程技术网

Hive 将配置单元上的映射器最大数量设置为1

Hive 将配置单元上的映射器最大数量设置为1,hive,mappers,Hive,Mappers,我需要做从字符串到整数id的映射,我正在考虑做一个UDF函数并传递这个字符串。为了让这个工作,我需要有一个单一的映射器 如何将映射程序阻止为1 感谢您的帮助我理解您的意图,但基于UDF的方法无法很好地扩展,因为字符串到id表必须驻留在内存中。通过使用map reduce作业将字符串从映射器传递到单个缩减器,您可能会更轻松。reducer实例只保留一个递增计数器,用于将传入reduce方法的所有字符串(所有相同的字符串)关联到计数器的下一个整数值 也许其他人知道如何将输入格式限制为生成一个简单的分

我需要做从字符串到整数id的映射,我正在考虑做一个UDF函数并传递这个字符串。为了让这个工作,我需要有一个单一的映射器

如何将映射程序阻止为1


感谢您的帮助

我理解您的意图,但基于UDF的方法无法很好地扩展,因为字符串到id表必须驻留在内存中。通过使用map reduce作业将字符串从映射器传递到单个缩减器,您可能会更轻松。reducer实例只保留一个递增计数器,用于将传入reduce方法的所有字符串(所有相同的字符串)关联到计数器的下一个整数值


也许其他人知道如何将输入格式限制为生成一个简单的分割(以获得一个映射器)。

您能更详细地描述您的问题吗?我遇到过许多需要限制还原程序数量的情况,但我不明白为什么人们会关心映射程序的数量。