Fatal编程技术网
  • caching/
  • Caching 在mapreduce hadoop中将URI作为运行时变量传递给分布式缓存

Caching 在mapreduce hadoop中将URI作为运行时变量传递给分布式缓存

caching hadoop mapreduce

Caching 在mapreduce hadoop中将URI作为运行时变量传递给分布式缓存,caching,hadoop,mapreduce,distributed,Caching,Hadoop,Mapreduce,Distributed,我在mapreduce程序中使用分布式缓存，并将三个变量传递到此mapreduce程序输入文件，输出目录和配置文件 我想将第三个参数即config文件添加到分布式缓存中 我正在MapReduce驱动程序的run（）方法中设置参数，如下所示：- conf.set("CONF_XML", args[2]); 如何使用相同的方法将此文件添加到分布式缓存中。我该怎么做 通常我们使用URI（新的（文件路径））添加 DistributedCache.addCacheFile（新URI（文件路径），conf

我在mapreduce程序中使用分布式缓存，并将三个变量传递到此mapreduce程序
输入文件
，
输出目录
和
配置文件

我想将第三个参数即config文件添加到分布式缓存中

我正在MapReduce驱动程序的
run（）
方法中设置参数，如下所示：-

conf.set("CONF_XML", args[2]);
如何使用相同的方法将此文件添加到分布式缓存中。我该怎么做

通常我们使用
URI（新的（文件路径））添加


DistributedCache.addCacheFile（新URI（文件路径），conf） 将文件路径参数作为URI传递给DistributedCache API


DistributedCache.addCacheFile（新路径（args[2]）.toUri（），job.getConfiguration（））
 不推荐使用
DistributedCache.addCacheFile
。请查看此项，了解在新API
job.addCacheFile（）
上的用法。

DistributedCache.addCacheFile(new URI(file_path), conf); << here how to pass the argument parameter?