Hadoop 清管器脚本功能

我在Hadoop中有一个数据处理需求，即根据另一个文件验证hdfs中的数据，该文件包含关于数据文件中字段可以包含的有效值的元数据

元数据的信息如下：
1字段1-布尔值
2字段2-文本
3字段3-编号

我需要遍历数据文件中的每个字段，并根据元数据对其进行验证，以查看值是否有效

这样的处理可以使用PIG脚本完成吗

问候,，

---

Nish

是的，您可以使用pig脚本完成此操作，但是您需要一个UDF。您还可以实现自己的加载函数，该函数将元数据文件作为输入，然后在加载过程中验证数据。谢谢Fred和LiMuBei。我会尝试的。