Apache spark Spark在每个节点上创建临时目录结构

我正在开发一个使用第三方库的spark java包装器，它将从执行作业的硬编码目录名（如“resdata”）中读取文件。我知道这是扭曲的，但我会尽力解释。 当我执行作业时，它试图在下面这样的路径中找到所需的文件， /data/Hadoop/warn/local//appcache/application_xxxxx_xxx/container_00_xxxxx_xxx/resdata 我假设它正在查找当前数据目录中的文件，在该目录名“resdata”下查找。此时，我不知道如何将当前目录配置为hdfs或local上的任何路径。 因此，寻找创建类似于第三方库所期望的目录结构的选项，并复制那里所需的文件。我需要在每个节点上执行此操作。我正在开发spark 2.2.0

---

请帮我实现这个目标

刚才得到了答案，我需要将所有文件放在resdata目录下并压缩，比如restdata.zip，使用选项--“archives”传递文件。然后每个节点都有restdata.zip/restdata/file1等目录

您是否100%确定您的库想要从数据节点读取数据？HADOOP_CONF_DIR设置为什么？指定的确切文件路径是什么，包括“file://”或“hdfs://”部分。如果需要本地datanode访问，请使用spart submit--files选项将文件复制到每个节点。