Hadoop libjar的位置

我在集群上运行hadoop作业，并在运行hadoop作业时使用-libjars选项传递一些JAR。我不确定在集群上哪里可以找到这些罐子。还有一件事，这些JAR是否从本地机器复制到集群。根据

从本地文件系统复制指定的JAR文件（如果使用方案，则从任何文件系统复制） 指定）添加到jobtracker（通常是HDFS）使用的共享文件系统中，并添加它们 到MapReduce任务的类路径。这个选项是一种很有用的方式，可以传送 一份工作依赖于你

---

因此，指定的文件将从本地文件系统复制到HDFS，然后复制到类路径中的映射器/减速器节点。此外，这些文件的复制次数为mapreduce.client.submit.file.replication，默认为10次。它被复制3次以上的原因是，文件必须分发到所有需要的节点。

作为一个小的补充：它们物理上位于任务工作目录的libs/目录中