使用Hadoop通过两个数据集进行映射
假设我有两个键值数据集——数据集A和B，让我们调用它们。我想用集合B中的数据更新集合A中的所有数据，其中两个键匹配 因为我要处理如此大量的数据，所以我使用Hadoop来MapReduce。我关心的是要在A和B之间进行键匹配，我需要将所有集合A（大量数据）加载到每个映射器实例的内存中。这似乎效率很低 是否有一种推荐的方法可以做到这一点，而不需要每次都重复加载工作 一些伪代码来澄清我目前正在做的事情：使用Hadoop通过两个数据集进行映射,hadoop,mapreduce,Hadoop,Mapreduce,假设我有两个键值数据集——数据集A和B，让我们调用它们。我想用集合B中的数据更新集合A中的所有数据，其中两个键匹配 因为我要处理如此大量的数据，所以我使用Hadoop来MapReduce。我关心的是要在A和B之间进行键匹配，我需要将所有集合A（大量数据）加载到每个映射器实例的内存中。这似乎效率很低 是否有一种推荐的方法可以做到这一点，而不需要每次都重复加载工作 一些伪代码来澄清我目前正在做的事情： Load in Data Set A # This seems like the expensiv
Load in Data Set A # This seems like the expensive step to always be doing
Foreach key/value in Data Set B:
If key is in Data Set A:
Update Data Seta A
根据文档，MapReduce框架包括：
以下是他用伪代码将文件B中的记录连接到密钥K中文件A中的记录的基本步骤。如果这里有什么不清楚的地方，我建议看视频，因为他比我解释得好得多 在映射器中：
K from file A:
tag K to identify as Primary Key
emit <K, value of K>
K from file B:
tag K to identify as Foreign Key
emit <K, record>
K：
标记K以标识为主键
发出
文件B中的K：
标记K以标识为外键
发出
value_of_PK = values[0] // First value is the value of your primary key
for value in values[1:]:
value.replace(FK,value_of_PK) // Replace the foreign key with the key's value
emit <key, value>
value\u of_PK=values[0]//第一个值是主键的值
对于值中的值[1:]：
value.replace（FK，value\u of_PK）//用键的值替换外键
发出
其结果将是文件B，文件A中所有出现的K都替换为K的值。您还可以扩展它以实现完整的内部联接，或将两个文件全部写入直接数据库存储，但这些都是非常琐碎的修改，一旦你得到了这个工作。到目前为止所有的答案都是正确的-这应该是一个Reduce-side连接。。。但是没有必要重新发明轮子！你有没有考虑过，或者为此？它们都有内置的连接，并且进行了相当好的优化。如果我理解正确，您是说Hadoop
-inputMapmapred.MapperReducemapred.Reducer