Scala 在Spark流作业中调用实用程序（外部）

我有一个来自卡夫卡的流媒体作业（使用

createDstream

）。 它的“id”流

我有一个实用程序或api，它接受一个id数组，执行一些外部调用，并接收回一些信息，比如每个id的“t”

[id:t1,id2:t2,id3:t3...]

我想在调用实用程序以保留数据流时保留

DStream

。我不能在Dstream rdd上使用映射转换，因为它将对每个id进行调用，而且该实用程序正在接受一组id

Dstream.map(x=> myutility(x)) -- ruled out

如果我使用

Dstream.foreachrdd(rdd=> myutility(rdd.collect.toarray))

---

我丢失了

DStream

。我需要保留

DStream

用于下游处理

实现外部批量调用的方法是在分区级别直接转换数据流中的RDD

模式如下所示：

val transformedStream = dstream.transform{rdd => 
    rdd.mapPartitions{iterator => 
      val externalService = Service.instance() // point to reserve local resources or make server connections.
      val data = iterator.toList // to act in bulk. Need to tune partitioning to avoid huge data loads at this level
      val resultCollection = externalService(data)
      resultCollection.iterator
    }
 }

---

这种方法使用集群中可用的资源并行处理底层RDD的每个分区。请注意，需要为每个分区（而不是每个元素）实例化与外部系统的连接。

重新设计

myutility

，以便它能够正确地并行工作？Spark中只有一个本地集合是不可能的。@user7337271并行是通过低于Dstream.foreachrdd（rdd=>myutility（rdd.collect.toarray））实现的，但是丢失Dstream这里没有并行性。整个主体

foreachrdd（rdd=>myutility（rdd.collect.toarray））

在驱动程序上本地执行。您可以

转换（rdd=>sc.parallelize（myutility（rdd.collect.toarray））

但它不能解决这个问题。@user7337271您是对的，我做了一个错误的假设

val transformedStream = dstream.transform{rdd => 
    rdd.mapPartitions{iterator => 
      val externalService = Service.instance() // point to reserve local resources or make server connections.
      val data = iterator.toList // to act in bulk. Need to tune partitioning to avoid huge data loads at this level
      val resultCollection = externalService(data)
      resultCollection.iterator
    }
 }