Hadoop Pig:将大文件拆分为多个小文件
我需要分割由另一个Pig脚本生成的输出部分文件,并生成每个包含1000行的组。这些组将发布到Web服务以进行进一步处理。数据之间没有关系,因此我无法将数据分组到特定字段Hadoop Pig:将大文件拆分为多个小文件,hadoop,apache-pig,Hadoop,Apache Pig,我需要分割由另一个Pig脚本生成的输出部分文件,并生成每个包含1000行的组。这些组将发布到Web服务以进行进一步处理。数据之间没有关系,因此我无法将数据分组到特定字段 如何在Pig中执行此操作?如果拆分与数据无关,为什么还要使用Pig或MapReduce?如果我没有误解的话,您也可以使用标准拆分程序拆分数据。例如: cat part-* | split -d -l 1000 - result- 如果拆分与数据无关,为什么还要使用Pig或MapReduce?如果我没有误解的话,您也可以使用标准
如何在Pig中执行此操作?如果拆分与数据无关,为什么还要使用Pig或MapReduce?如果我没有误解的话,您也可以使用标准拆分程序拆分数据。例如:
cat part-* | split -d -l 1000 - result-
如果拆分与数据无关,为什么还要使用Pig或MapReduce?如果我没有误解的话,您也可以使用标准拆分程序拆分数据。例如:
cat part-* | split -d -l 1000 - result-