Hadoop 将多个目录中的多个文件加载到Pig中

您好，我有一个目录，其子目录类似于此

a1、a2、…a8.

，每个目录都有多个文件，如

  bat-a1-0-0
  bat-a1-0-1
  bat-a1-1-0
  bat-a1-1-1
  ...
  bat-a1-31-0
  bat-a1-31-1

对于子目录a2，它与之类似

bat-a2-0-0
bat-a2-0-1
bat-a2-1-0
bat-a2-1-1
...
bat-a2-31-0
bat-a2-31-1

---

为了不使事情复杂化，我决定使用多个LOAD语句来加载每个目录，并找到一种联合获取所有目录的方法。但是我不知道如何使用ApachePig版本0.10.0-cdh4.2.1来加载每个目录中的文件，因为它们似乎不遵循简单的模式。需要帮助，谢谢。

事实上，这可能比你想象的要简单。若在pig中加载文件，只需指向一个目录，pig就会递归加载所有文件。即使是那些可能嵌套很深的

---

因此，解决方案是：确保所有数据都在1个（或几个）目录下，并将其加载。

你的意思是，如果我只加载目录，它会自动加载所有子目录和每个子目录中的文件吗？@Jeremiah完全正确，只需在加载命令中参考目录即可。