Java 将reduce输出映射到oracle数据库?

Java 将reduce输出映射到oracle数据库?,java,oracle,hadoop,mapreduce,Java,Oracle,Hadoop,Mapreduce,我们正在开发一个网络监控工具,它可以持续监控和收集配置系统的cpu使用率%,内存使用率%数据。我们目前将数据放入oracle数据库。我们的目的是根据数据生成图形报告。例如,过去12小时的CPU使用情况将显示一个带有12个绘图点的折线图。即,间隔为1小时。 不过,性能还是有点慢。我们的计划是增加绘图点。也就是说,我们以10秒为间隔绘制图形,30秒。。。随着oracle的查询,这似乎更加困难 因此,我们计划使用hadoop来存储时间序列监控数据,并安排一个MapReduce作业来获得不同时间间隔的平

我们正在开发一个网络监控工具,它可以持续监控和收集配置系统的cpu使用率%,内存使用率%数据。我们目前将数据放入oracle数据库。我们的目的是根据数据生成图形报告。例如,过去12小时的CPU使用情况将显示一个带有12个绘图点的折线图。即,间隔为1小时。 不过,性能还是有点慢。我们的计划是增加绘图点。也就是说,我们以10秒为间隔绘制图形,30秒。。。随着oracle的查询,这似乎更加困难


因此,我们计划使用hadoop来存储时间序列监控数据,并安排一个MapReduce作业来获得不同时间间隔的平均值。它让我们的程序员重写了graphloading部分。我们可以将这个输出写入oracle数据库吗?这样我们就可以方便地查询这些数据了?

可以使用sqoop将数据从HDFS移动到数据库。它消除了您必须手动完成的繁重工作。

您可能需要查看一下。它似乎是Oracle提供的免费库,基本上完全满足了您的需求。它似乎带有一种OutputFormat,可以直接写入Oracle实例。

是的,您可以。在最坏的情况下,编写您自己的
OutputFormat
。为什么这会被否决?这是一个合理的问题。我的建议是使用Sqoop或编写自定义的OutputFormat。@DonaldMiner很抱歉,但这是一个类似“你能帮我搜索一下如何将数据从MapReduce插入关系数据库”的问题。他必须事先做研究,不仅要提到stackoverflow上已经有十几个关于这个主题的问题得到了回答。因为我们不知道你的技能水平,因此无法判断你能做什么或不能做什么,这可以被认为是基于观点的。