Java 创建JSON服务以读取/写入HDFS数据

Java 创建JSON服务以读取/写入HDFS数据,java,json,scala,hadoop,hdfs,Java,Json,Scala,Hadoop,Hdfs,我的要求如下: 我们正在尝试为我们的一位客户实施推荐引擎。为了实现同样的目标,我们需要将来自web应用程序的数据存储在HDFS中(对于每次单击产品),并在后端计算建议,并在web应用程序中显示结果(作为产品) 我的方法如下,并强调了以下步骤: 我们已经下载并配置了Cloudera 我们已经下载/配置了ApacheMlib(推荐引擎) 使用EclipseLuna,我们能够运行Mlib(使用Java插件) 现在我们需要创建一个JSON服务,它将从web和 存储在HDFS中。我们被困在这一步 现在我们

我的要求如下:

我们正在尝试为我们的一位客户实施推荐引擎。为了实现同样的目标,我们需要将来自web应用程序的数据存储在HDFS中(对于每次单击产品),并在后端计算建议,并在web应用程序中显示结果(作为产品)

我的方法如下,并强调了以下步骤:

  • 我们已经下载并配置了Cloudera
  • 我们已经下载/配置了ApacheMlib(推荐引擎)
  • 使用EclipseLuna,我们能够运行Mlib(使用Java插件)
  • 现在我们需要创建一个JSON服务,它将从web和
    存储在HDFS中。我们被困在这一步
  • 现在我们需要创建一个JSON服务,它可以从HDFS和 计算建议并以JSON格式动态显示结果
    我们被困在第4步和第5步。请提出建议,我们如何创建一个JSON服务来读取/写入HDFS?

    您问了一个非常一般的问题。我建议您先熟悉ApacheSpark。读起来很快。开始将hdfs中的数据读取\写入jsonRDD,如中所述。了解如何使用批处理后,请阅读


    托勒密有一个问题,我问是否有比欧几里德的元素更短的学习几何的途径。欧几里德回答说,几何没有平坦的道路。因此,除了阅读和理解ApacheSpark使用的基础知识外,没有为客户构建mllib引擎的快速方法。祝你在这方面好运

    我只是对它略知一二,但这听起来似乎是水槽的一个很好的用途。链接:在REST服务的帮助下,我们能够修复解决方案。是否有可能创建RESTFUL Web服务,通过该服务,我们可以从webapplication输入数据并将其存储在HDFS中?当然,可以为您喜欢的任何流媒体源使用http端点。例如,@AshaDatla HDFS已经有一个名为webhdfs的HTTP API: