Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Caching 在UDF中访问Hadoop分布式缓存_Caching_Hadoop_Apache Pig_Distributed Cache - Fatal编程技术网

Caching 在UDF中访问Hadoop分布式缓存

Caching 在UDF中访问Hadoop分布式缓存,caching,hadoop,apache-pig,distributed-cache,Caching,Hadoop,Apache Pig,Distributed Cache,是否可以从UDF中的分布式缓存中提取文件 在深入研究之前,我花了相当多的时间试图找到关于StackOverflow和其他问题的答案,但未能找到答案 问题的主要症结如下:我希望获取一个已经在HDFS上的文件,将其复制到Pig中的分布式缓存中,然后能够从javaudf中的缓存中读取该文件。另一个问题是,由于程序的设计,我无法从“EvalFunc”扩展,这可能会解决问题 我在Pig脚本中指定了SET mapred.cache.files“$PATH_TO_FILE_ON_HDFS”以及SET mapp

是否可以从UDF中的分布式缓存中提取文件

在深入研究之前,我花了相当多的时间试图找到关于StackOverflow和其他问题的答案,但未能找到答案

问题的主要症结如下:我希望获取一个已经在HDFS上的文件,将其复制到Pig中的分布式缓存中,然后能够从javaudf中的缓存中读取该文件。另一个问题是,由于程序的设计,我无法从“EvalFunc”扩展,这可能会解决问题

我在Pig脚本中指定了SET mapred.cache.files“$PATH_TO_FILE_ON_HDFS”以及SET mapped.create.symlink“yes”,将文件路径作为参数传递给UDF,并尝试使用文件系统和FileReader类访问该文件,但没有成功


请告知我是否可以进一步澄清/提供更多相关细节。

可能重复:这不是完全重复-我无法使用我在问题中指定的EvalFunc。