Hadoop Spark 2.0.1未找到通过存档标志传入的文件

我正在运行

Spark

作业，该作业使用通过

--archives

Spark标志传入的其他文件

spark提交--档案hdfs:///user/{USER}/{some_folder}.zip。。。。{file_to_run}.py

Spark目前正在纱线上运行，当我使用Spark版本1.5.1进行尝试时，一切正常

但是，当我使用

spark 2.0.1

运行相同的命令时，我得到了

ERROR.ApplicationMaster:User类引发异常：java.io.IOException:无法运行程序/home/{User}/{some_folder}/..：ERROR=2，没有这样的文件或目录

由于该资源由

warn

管理，因此在作业运行时手动检查文件是否成功解压缩并存在是一项挑战

---

我想知道是否有人遇到过类似的问题。

您的

{USER}

和

{some_folder}

没有翻译成实际的用户名和文件夹名。hadoop找不到路径，他们只是这篇文章的占位符，因为我不想透露我的信息，所有内容都被正确地翻译了。zip文件夹的路径是错误的。这就是错误消息所说的

没有这样的文件或目录

。如果已将HADOOP设置为HOME，则可以删除

hdfs://