Mapreduce 使用新记录更新配置单元表,并基于键更新插入记录

Mapreduce 使用新记录更新配置单元表,并基于键更新插入记录,mapreduce,hive,Mapreduce,Hive,我遵循下面的方法- 有一个表WORK.DATA\u PERM是可用的和新的,并且必须更新的数据的形式类似于假设工作中有100行。DATA\u PERM和新文件有10条记录,其中9条必须更新,1条新记录- 以下步骤是- 创建新的表格WORK.DATA\u PTY,并将其与表格WORK.DATA\u PERM的所有记录一起插入。 从已收到的文件中追加此表10行。 运行下面的查询以获取所需的数据- 选择T1.PTY_键,T1.PRCS_DT 从WORK.DATA_PTY T1内部联接 按PTY_键T2

我遵循下面的方法-

有一个表WORK.DATA\u PERM是可用的和新的,并且必须更新的数据的形式类似于假设工作中有100行。DATA\u PERM和新文件有10条记录,其中9条必须更新,1条新记录-

以下步骤是-

创建新的表格WORK.DATA\u PTY,并将其与表格WORK.DATA\u PERM的所有记录一起插入。 从已收到的文件中追加此表10行。 运行下面的查询以获取所需的数据- 选择T1.PTY_键,T1.PRCS_DT 从WORK.DATA_PTY T1内部联接 按PTY_键T2选择PTY_键,maxPRCS_DT作为来自WORK.DATA_PTY组的最大日期 在T2.PTY_键上=T1.PTY_键 T2.MAX_DATE=T1.PRCS_DT


我们想使用Java Map Reduce来完成此活动?请建议一下方法。感谢您的回复。

您可以使用Java Map Reduce来完成此活动。在用java编写映射器和reducer代码之后,还可以将它们插入配置单元查询

您可以看到如何为配置单元查询编写自定义映射器和缩减器

也看到