在Hadoop中共享全局矩阵

在Hadoop中共享全局矩阵,hadoop,mapreduce,Hadoop,Mapreduce,如何与Hadoop中的所有映射程序共享全局矩阵 我知道共享变量是通过以下方式完成的: conf.set(“testVar”、“value1”) 然后,要在映射器中获取值,请执行以下操作: conf.get(“testVar”) 但是矩阵的情况呢?是否可以在开始执行map函数之前共享矩阵?可以使用hadoop的distributedcache功能实现。是Map Reduce框架提供的一项功能,用于缓存应用程序所需的文件(文本、档案、JAR等)。谷歌搜索它,你可以找到代码示例,但它会缓存文件,对吗?

如何与Hadoop中的所有映射程序共享全局矩阵

我知道共享变量是通过以下方式完成的:

conf.set(“testVar”、“value1”)

然后,要在映射器中获取值,请执行以下操作:

conf.get(“testVar”)


但是矩阵的情况呢?是否可以在开始执行map函数之前共享矩阵?

可以使用hadoop的distributedcache功能实现。是Map Reduce框架提供的一项功能,用于缓存应用程序所需的文件(文本、档案、JAR等)。谷歌搜索它,你可以找到代码示例,但它会缓存文件,对吗?在开始执行代码之前,如何将文件放入矩阵(例如整数矩阵)中?我猜DistributedCache将文件放在缓存中,并在每个映射器端打开它,不是吗?