Apache spark 利用spark中的结构化流使ES-foreachs-sink幂等元

我遇到的情况与中描述的相同。当我在失败后重新启动spark作业时，将再次处理最后一条消息。其中一个答案表明水槽必须是幂等的。我不太清楚这一点

现在，我向ES sink写入数据，这3种方法的实现如下：

open方法返回true

Http向ES发送过程方法

close方法关闭连接

我想知道如何使ES sink幂等，以及如何在open方法中使用2个参数partitionId和version，在数据已经处理的情况下返回false

---

提前感谢。

您是否阅读了共享链接中的已接受答案？我认为答案在我发布问题后几个小时已更新。似乎与Spark 2.2.0版配合使用，但我认为您仍然必须回答如何制作“process method Do Http post to ES”的问题幂等式。您是否阅读了共享链接中的已接受答案？我认为答案在我发布问题后的几个小时内已更新。似乎适用于Spark 2.2.0版，但我认为您仍然必须回答如何使“process method Do Http post to ES”成为幂等式的问题。