Java 将文件（配置）从HDFS复制到每个spark执行器的本地工作目录

我正在研究如何使用Java将包含资源依赖文件的文件夹从HDFS复制到每个spark执行器的本地工作目录

我最初考虑使用spark submit的--files选项，但它似乎不支持任意嵌套文件的文件夹。因此，在运行作业之前，我似乎必须将此文件夹放在共享的HDFS路径上，以便每个执行者将其正确复制到其工作目录中，但我还没有找到如何在Java代码中正确执行它

或zip/gzip/archive此文件夹，将其放在共享HDFS路径上，然后将存档分解到每个Spark执行器的本地工作目录

欢迎提供任何帮助或代码示例

这是一个配置文件的文件夹，它们是compute的一部分，应该与spark submit主jar（例如数据库文件，jar代码在运行作业时使用这些文件，很遗憾，我无法更改此依赖关系，因为我正在重用现有代码）

问候,，

---

-Yuriy

运行在纱线上的火花执行器将被移动到节点/机架上，并带有数据本身。这是使用Hadoop的基本应用-将计算移到data@cricket_007我理解将计算移动到数据的概念，但在本例中并非如此。我所指的文件夹（文件）在传统的Hadoop意义上不是数据本身——它们是配置文件，并且是计算的一部分（例如数据库文件，jar代码在运行作业时使用这些文件，不幸的是，在重用现有代码时，我无法更改这种依赖关系）@cricket_007这些是配置文件，它们是计算的一部分，应该与spark submit主jar（例如数据库文件，jar代码在运行作业时使用的数据库文件，不幸的是，我无法更改此依赖关系，因为我正在重用现有代码）。好的，然后需要

--files

参数。Gzip文件夹，ideally@cricket_007--文件是否支持复制任意嵌套结构的文件夹？我无法确认它是否存在。运行在纱线上的火花执行器将被移动到节点/机架，并带有数据本身。这是使用Hadoop的基本应用-将计算移到data@cricket_007我理解将计算移动到数据的概念，但在本例中并非如此。我所指的文件夹（文件）在传统的Hadoop意义上不是数据本身——它们是配置文件，并且是计算的一部分（例如数据库文件，jar代码在运行作业时使用这些文件，不幸的是，在重用现有代码时，我无法更改这种依赖关系）@cricket_007这些是配置文件，它们是计算的一部分，应该与spark submit主jar（例如数据库文件，jar代码在运行作业时使用的数据库文件，不幸的是，我无法更改此依赖关系，因为我正在重用现有代码）。好的，然后需要

--files

参数。Gzip文件夹，ideally@cricket_007--文件是否支持复制任意嵌套结构的文件夹？我不能证实它是真的。