Apache spark 将Spark MLLib算法与使用起泡水的H2O ai集成

我正在尝试将Spark MLLib中的协作算法与使用起泡水的H2o Ai集成，用于产品推荐。我跟踪了这个链接

更新代码如下所示

System.setProperty("hadoop.home.dir", "D:\\backup\\lib\\winutils")
    val conf = new SparkConf()
      .setAppName("Spark-InputFile processor")
      .setMaster("local")

    val sc = new SparkContext(conf)

    val inputFile = "src/main/resources/test.data"

    val data = sc.textFile(inputFile)

    val ratings = data.map(x=>{
      val mapper = x.split(",")
      Rating(mapper(0).toInt,mapper(1).toInt,mapper(2).toDouble)
    })
    // Build the recommendation model using ALS
    val rank = 10
    val numIterations = 10
    val model = ALS.train(ratings, rank, numIterations, 0.01)



    // Save and load model
    model.save(sc, "target/tmp/myCollaborativeFilter")
    val sameModel = MatrixFactorizationModel.load(sc, "target/tmp/myCollaborativeFilter")

    val modelRdd = sameModel.recommendProductsForUsers(100)

    implicit val sqlContext = SparkSession.builder().getOrCreate().sqlContext
    import sqlContext.implicits._

    val modelDf = modelRdd.toDF("Rdd","Rdd1")




    @transient val hc = H2OContext.getOrCreate(sc)

    val h2oframe:H2OFrame = hc.asH2OFrame(modelDf)

当我在Intellij中运行代码时，我得到以下错误

Exception in thread "main" java.util.NoSuchElementException: key not found: StructType(StructField(user,IntegerType,false), StructField(product,IntegerType,false), StructField(rating,DoubleType,false))
    at scala.collection.MapLike$class.default(MapLike.scala:228)
    at scala.collection.AbstractMap.default(Map.scala:59)
    at scala.collection.MapLike$class.apply(MapLike.scala:141)
    at scala.collection.AbstractMap.apply(Map.scala:59)
    at org.apache.spark.h2o.utils.ReflectionUtils$.vecTypeFor(ReflectionUtils.scala:132)
    at org.apache.spark.h2o.converters.SparkDataFrameConverter$$anonfun$3.apply(SparkDataFrameConverter.scala:68)
    at org.apache.spark.h2o.converters.SparkDataFrameConverter$$anonfun$3.apply(SparkDataFrameConverter.scala:68)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
    at scala.collection.Iterator$class.foreach(Iterator.scala:893)
    at scala.collection.AbstractIterator.foreach(Iterator.scala:1336)
    at scala.collection.IterableLike$class.foreach(IterableLike.scala:72)
    at scala.collection.AbstractIterable.foreach(Iterable.scala:54)
    at scala.collection.TraversableLike$class.map(TraversableLike.scala:234)
    at scala.collection.AbstractTraversable.map(Traversable.scala:104)
    at org.apache.spark.h2o.converters.SparkDataFrameConverter$.toH2OFrame(SparkDataFrameConverter.scala:68)
    at org.apache.spark.h2o.H2OContext.asH2OFrame(H2OContext.scala:132)
    at org.apache.spark.h2o.H2OContext.asH2OFrame(H2OContext.scala:130)
    at com.poc.sample.RecommendataionAlgo$.main(RecommendataionAlgo.scala:54)
    at com.poc.sample.RecommendataionAlgo.main(RecommendataionAlgo.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:147)

如何解决此错误

---

提前感谢。

modelRdd

将是类型

Tuple2

（或Scala中的等效物），

评级

不是我们（起泡水）提供的自动转换类型（它不是

字符串、双精度、浮点等

也不是实现

产品

）。我们肯定需要在那里抛出一个更有意义的错误消息

---

要解决此问题，而不是使用

对象创建数据帧，请使用
modelRdd.toDF（“Rdd”、“Rdd1”）
对其进行评级，您可以将其映射到一个包含4列的DF中
对象、用户、产品、评级
，然后使用
hc.asH2OFrame（）
，解决了我的第一个问题。是否有完整示例的可靠链接可以让您从头开始使用Sparking water端到端？@mvg我知道我们的文档有点落后-我们正在将其更新到2.x，但我认为通过遵循我们的Github自述和标准spark实践来获得完整的工作示例仍然是可行的。你觉得哪些部分很有挑战性？我用这段代码创建了jar文件并提交给Spark Submit，它启动了H2o流。我在浏览器中打开了它，然后卡在那里，因为它看起来更像一个配置工具。@mvg您可以发布一个新的问题，并提供更多详细信息（您是如何创建jar的，您的spark submit命令是什么等）。确定会关闭此问题并打开一个新问题。谢谢