Java ApachePig提取关系中的某些行

Java ApachePig提取关系中的某些行,java,hadoop,apache-pig,Java,Hadoop,Apache Pig,我正在使用ApachePig做一些数据分析工作。我有一个包含100000条记录的关系a。我想把它们平均分成100个文件,每个文件包含1000条记录。如果没有UDF,我可以这样做吗?100000行不是很多,100个文件(每个文件包含1000条记录)也不太理想-您确定需要在Hadoop环境中这样做吗?用非分布式Java/Python作业解决这个问题非常容易。当然,这是真的,但我只是消除了一个复杂的上下文,并编写了核心问题。也许我应该考虑另一种方法来完成它。10万行不是很多,每一个包含1000个记录的

我正在使用ApachePig做一些数据分析工作。我有一个包含100000条记录的关系a。我想把它们平均分成100个文件,每个文件包含1000条记录。如果没有UDF,我可以这样做吗?

100000行不是很多,100个文件(每个文件包含1000条记录)也不太理想-您确定需要在Hadoop环境中这样做吗?用非分布式Java/Python作业解决这个问题非常容易。当然,这是真的,但我只是消除了一个复杂的上下文,并编写了核心问题。也许我应该考虑另一种方法来完成它。10万行不是很多,每一个包含1000个记录的100个文件也不是理想的-你确定你需要在Hadoop的上下文中这样做吗?用非分布式Java/Python作业解决这个问题非常容易。当然,这是真的,但我只是消除了一个复杂的上下文,并编写了核心问题。也许我应该考虑另一种方法来完成这件事。