Hadoop DistributedCache.getLocalCacheFiles(context.getConfiguration());有时返回null
我有一个MR任务,从HBase表读取数据。此作业的映射程序Hadoop DistributedCache.getLocalCacheFiles(context.getConfiguration());有时返回null,hadoop,mapreduce,hbase,Hadoop,Mapreduce,Hbase,我有一个MR任务,从HBase表读取数据。此作业的映射程序MyMapper扩展了TableMapper 我还有一个接收配置实例的方法。 我从MyMapper的setup()中调用它: Configuration conf = context.getConfiguration(); foo(conf); 在foo中,我调用DistributedCache.getLocalCacheFiles(conf) foo在另一个MR作业中工作正常,只有在那里映射器扩展了类mapper。此作业也使用
MyMapper
扩展了TableMapper
我还有一个接收配置实例的方法。我从
MyMapper
的setup()
中调用它:
Configuration conf = context.getConfiguration();
foo(conf);
在foo
中,我调用DistributedCache.getLocalCacheFiles(conf)
foo
在另一个MR作业中工作正常,只有在那里映射器扩展了类mapper
。此作业也使用mapreduce
API编写。但是在
MyMapper
中,它不起作用
我还尝试:
Configuration conf = (JobConf) context.getConfiguration();
有什么建议吗?评论是关于什么的?这和你的代码一样吗?这个答案对你的问题有效吗?如果没有,请在问题中添加
设置
、foo
和main
方法。