File hadoop中的分布式缓存

File hadoop中的分布式缓存,file,caching,hadoop,distributed,File,Caching,Hadoop,Distributed,如何在hadoop的分布式缓存中更新文件。 选项: 更新分布式缓存中的文件并重新启动mapreduce作业 将文件替换为新文件,并将指针位置更改为指向新位置,然后重新启动map reduce作业 在分布式缓存中追加新值,然后重新启动map reduce作业 其他选择是 我在谷歌上搜索了一下,但是找不到我问题的答案,所以我把它贴在这里。 希望我能得到答案。当mapreduce作业运行时,您不能更新DistributedCache,否则这将是一场关键的竞争 您必须重新启动作业,然后提交另一个Dist

如何在hadoop的分布式缓存中更新文件。 选项:

  • 更新分布式缓存中的文件并重新启动mapreduce作业
  • 将文件替换为新文件,并将指针位置更改为指向新位置,然后重新启动map reduce作业
  • 在分布式缓存中追加新值,然后重新启动map reduce作业
  • 其他选择是
  • 我在谷歌上搜索了一下,但是找不到我问题的答案,所以我把它贴在这里。
    希望我能得到答案。

    当mapreduce作业运行时,您不能更新DistributedCache,否则这将是一场关键的竞争


    您必须重新启动作业,然后提交另一个DistributedCache数据-作业之间没有DistributedCache持久性

    更新是什么意思?你需要什么?在作业运行时更改文件?要更改文件,然后运行作业?当没有作业正在运行时,没有缓存。。。它在HDFS中,当作业启动时,您可以将其添加到缓存中。这意味着一旦文件是分布式缓存的一部分,我们就无法更新它?例如,我有一个属性文件放在分布式缓存中,现在我想用分布式缓存中更新的属性文件替换属性文件。我该怎么做?只需将旧的peoperty文件替换为更新的属性文件,或者将更新的属性文件放置在新位置,并将该位置指向分布式缓存中。或任何其他选项?使用-files选项或addCacheFile传递的文件将复制到分布式缓存。你可以在你喜欢的时候改写原稿。这些更改将在重新运行作业时应用。