Python 通过pyspark动态写入elasticsearch索引

我有一个pyspark数据帧，如下所示：

my_df = spark.read.load("some-parquet-path")

我希望能够根据数据框中“id”列的内容，动态地将其写入一些elasticsearch索引。我试着这样做：

my_df.write.format(
    "org.elasticsearch.spark.sql"
).mode('overwrite').options(**conf).save("my_index_{id}/my_type")

但我得到：

org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest: no such index

我该怎么做

更新

---

当我将模式从“覆盖”更改为“附加”时，这似乎起作用。如果能解释一下为什么会出现这种情况，那就太好了……

不是这方面的专家，但考虑到文档（），您可能更愿意切换到RDD来写入ES，如图所示，您是否愿意添加一些有关spark和ES群集的信息？另外，您使用的是哪一版本的连接器？不是这方面的专家，但根据文档（）您可能更愿意切换到RDD来写入ES，如图所示，您是否愿意添加一些有关spark和ES群集的信息？另外，您使用的是哪种版本的连接器？