Hadoop apache pig rank运算符不使用多个减速机

Hadoop apache pig rank运算符不使用多个减速机,hadoop,hive,apache-pig,Hadoop,Hive,Apache Pig,我试图使用pig的rank运算符为给定字符串分配整数。虽然当我将parallel子句设置为1时它可以工作,但如果值更高(比如200),它就不会工作。我需要使用多个减速机来加快处理速度,因为默认情况下,pig只使用一个减速机,这需要很长时间 我的质询如下: 秩=col1 ASC parallel 200的秩tupl1 实际上根据清管器文件(): 您可以将PARALLEL子句包含在启动 缩减阶段:合并、交叉、不同、分组、合并(内部)、合并 (外部),并通过命令 这就是为什么我认为您有一个错误,无法为

我试图使用pig的
rank
运算符为给定字符串分配整数。虽然当我将
parallel
子句设置为1时它可以工作,但如果值更高(比如200),它就不会工作。我需要使用多个减速机来加快处理速度,因为默认情况下,pig只使用一个减速机,这需要很长时间

我的质询如下:


秩=col1 ASC parallel 200的秩tupl1

实际上根据清管器文件():

您可以将PARALLEL子句包含在启动 缩减阶段:合并、交叉、不同、分组、合并(内部)、合并 (外部),并通过命令


这就是为什么我认为您有一个错误,无法为rank设置PARALLEL参数。

请添加不起作用的详细信息。如果有错误信息,请显示出来好吗?此外,您是否尝试使用少于200个减速器(例如,2个)?