Apache spark Tachyon:在copyFromLocal命令期间重命名失败

我正在使用ApacheSpark构建一个应用程序。为了使RDD从其他应用程序中可用，我尝试了两种方法：

使用超光子

使用

我对超光速子还不熟悉。我完成了报告中给出的以下任务

我可以从

master:19999

URL访问UI

从tachyon目录中，我成功地创建了一个目录

/bin/tachyon tfs mkdir/Test

但在尝试执行copyFromLocal命令时，我遇到以下错误：

FailedToCheckpointException(message:Failed to rename hdfs://master:54310/tmp/tachyon/workers/1421840000001/8/93 to hdfs://master:54310/tmp/tachyon/data/93)

---

您很可能在不同的用户下运行tachyon和spark jobserver，并将HDFS作为您的underFS

请检查并查看相关补丁

简单的解决方法是将tachyon和spark作业服务器作为同一个用户运行

---

（稍微）困难的方法是移植补丁并重新编译spark，然后使用补丁客户端进行sjs。

我也有同样的问题。copyFromLocal失败后，使用

tfs ls

将文件显示在“内存”中，但正如我尝试

tfs cat

其中一个文件时所报告的那样，这些文件“不完整”：文件/data/test.txt不完整。