Memory 阿帕奇猪问题
Memory 阿帕奇猪问题,memory,mapreduce,apache-pig,Memory,Mapreduce,Apache Pig,关于运行pig脚本/map reduce作业，我没有什么问题
我知道pig在真正开始执行map/reduce作业之前创建了逻辑、物理和执行计划；我能够使用命令explain查看逻辑/物理计划；但是我如何查看执行计划（我想它列出了不同的map/reduce计划任务）？在执行清管器的过程中，我看到创建了许多作业（map/reduce对）。想了解这些工作都能解决什么问题
是否有任何明确的指南，我可以用来理解创建的计划，因为spat很难理解
我可以通过更改输入文件块的数量来更改贴图作业的数量。我是否也能
关于运行pig脚本/map reduce作业，我没有什么问题
我知道pig在真正开始执行map/reduce作业之前创建了逻辑、物理和执行计划；我能够使用命令explain查看逻辑/物理计划；但是我如何查看执行计划（我想它列出了不同的map/reduce计划任务）？在执行清管器的过程中，我看到创建了许多作业（map/reduce对）。想了解这些工作都能解决什么问题
是否有任何明确的指南，我可以用来理解创建的计划，因为spat很难理解
我可以通过更改输入文件块的数量来更改贴图作业的数量。我是否也能控制裁员的数量？如何设置减速器的数量
mapper/reducer节点中的默认堆内存大小是多少？哪些工作参数反映了这些？我是否能够通过-Xmx 1024m选项更改堆内存？当我以这种方式设置堆内存时，我的作业通常会失败-可能对可以提供的值有一些限制吗
多谢
explain生成了不同类型的计划。提供一个目录路径而不是一个文件，以从“解释”获取所有3个计划
不知道
设置默认值\u parallel 10
会将作业数减少到10
它必须在hadoop设置中
explain生成了不同类型的计划。提供一个目录路径而不是一个文件，以从“解释”获取所有3个计划
不知道
设置默认值\u parallel 10
会将作业数减少到10
它必须在hadoop设置中
“Explain（pig命令）”别名解释物理计划（就地图缩减作业而言）
别名将在MR作业中分组在一起。在计划阶段可以看到，所有别名都被分组到一个给定的MR中
要控制减速机的数量，可以在编写联接时使用“USING PARALLEL desired_no”，groupby或在pig脚本开始时使用“set default_PARALLEL desired no”
这取决于一头正在奔跑的猪在哪里。
如果其MRv1:set mapred.java.opts-Xmx
在mrv2:set mapred.map.size中，设置mapred.map.java.opts-Xmx
“Explain（pig命令）”别名解释物理计划（就地图缩减作业而言）
别名将在MR作业中分组在一起。在计划阶段可以看到，所有别名都被分组到一个给定的MR中
要控制减速机的数量，可以在编写联接时使用“USING PARALLEL desired_no”，groupby或在pig脚本开始时使用“set default_PARALLEL desired no”
这取决于一头正在奔跑的猪在哪里。
如果其MRv1:set mapred.java.opts-Xmx
在mrv2:set mapred.map.size中，设置mapred.map.java.opts-Xmx
还值得注意的是，您可以在语句本身中为特定运算符设置还原数。例如，B=A组，t=18还值得注意的是，您可以在语句本身中为特定运算符设置还原数。例如，B=A组，t=18