Scala 简单的超光速子示例失败,带“0”;未能重命名";在GCE的存储范围内
当运行一个简单的示例时,我得到了这个错误 我尝试更改权限并使用不同的目录Scala 简单的超光速子示例失败,带“0”;未能重命名";在GCE的存储范围内,scala,apache-spark,google-compute-engine,alluxio,Scala,Apache Spark,Google Compute Engine,Alluxio,当运行一个简单的示例时,我得到了这个错误 我尝试更改权限并使用不同的目录 Caused by: java.io.IOException: FailedToCheckpointException(message:Failed to rename /home/bryan/tachyon-0.7.1/underFSStorage/tmp/tachyon/workers/1445054000001/3/8 to /home/bryan/tachyon-0.7.1/underFSStorage/tmp/t
Caused by: java.io.IOException: FailedToCheckpointException(message:Failed to rename /home/bryan/tachyon-0.7.1/underFSStorage/tmp/tachyon/workers/1445054000001/3/8 to /home/bryan/tachyon-0.7.1/underFSStorage/tmp/tachyon/data/8)
at tachyon.worker.WorkerClient.addCheckpoint(WorkerClient.java:130)
at tachyon.client.TachyonFS.addCheckpoint(TachyonFS.java:228)
at tachyon.client.FileOutStream.close(FileOutStream.java:105)
有什么想法吗
我下面的回答实际上并不能解决这个问题。这只是一个例子
使用HDFS作为UnderFS的变通方法
此处我的配置使用本地文件系统:
export TACHYON_UNDERFS_ADDRESS=$TACHYON_HOME/underFSStorage
我通过首先检查Hadoop版本克服了此错误:
hadoop version
> Hadoop 2.7.1
然后为Hadoop 2.7.0编译Tachyon:
(对于2.7.1,它不会编译)
并将FS_地址下的超光速子设置为本地HDFS地址:
nano conf/tachyon-env.sh
export TACHYON_UNDERFS_ADDRESS=hdfs://my-cluster-m:8020
这会导致另一个可能影响您的问题(如果运行单个节点):
这是一个类似的问题。请尝试并让我知道解决方案是否解决了您的问题:
nano conf/tachyon-env.sh
export TACHYON_UNDERFS_ADDRESS=hdfs://my-cluster-m:8020