Scala 如何在Spark中读取多个Elasticsearch索引？

我需要从Elasticsearch的多个索引中读取数据。但所有这些指数都具有相同的数据结构

例如：

val df1 = spark.read.format("org.elasticsearch.spark.sql")
              .option("query", myquery)
              .option("pushdown", "true")
              .load("news_01/myitem")

val df2 = spark.read.format("org.elasticsearch.spark.sql")
              .option("query", myquery)
              .option("pushdown", "true")
              .load("news_02/myitem")

如果我得到索引名数组[news\u 01，news\u 02]，会发生什么

---

如何避免像我现在这样创建df1、df2？

鉴于ElasticSearch允许您在搜索请求期间同时针对多个索引，您可以执行以下操作：

val df = spark.read.format("org.elasticsearch.spark.sql")
              .option("query", myquery)
              .option("pushdown", "true")
              .load("news_01,news_02")

---

你是说，你想合并两个索引中的数据？