如何使用spark(Eclipse)从Elasticsearch读取数据并将其转换为表格格式
我已成功将csv文件推入elasticsearch如何使用spark(Eclipse)从Elasticsearch读取数据并将其转换为表格格式,eclipse,apache-spark,elasticsearch,hadoop,Eclipse,Apache Spark,elasticsearch,Hadoop,我已成功将csv文件推入elasticsearch val spark=SparkSession.builder() .appName("eswithfunctions") .config("spark.master","local") .config("spark.es.nodes","localhost") .config("spark.es.port","9200") .getOrCreate() println("Enter path of file saved
val spark=SparkSession.builder()
.appName("eswithfunctions")
.config("spark.master","local")
.config("spark.es.nodes","localhost")
.config("spark.es.port","9200")
.getOrCreate()
println("Enter path of file saved locally")
val path=scala.io.StdIn.readLine()
val dataframe=spark.read
.option("inferSchema", "true").csv(path)
println("Enter the name you want to save dataframe in Elasticsearch")
val index=scala.io.StdIn.readLine()
dataframe.saveToEs(index-name)
如何从elasticseach服务器读取数据并在spark中以表格格式查看结果。您还可以手动指定将使用的数据源以及要传递给数据源的任何额外选项。数据源由它们的完全限定名(即org.apache.spark.sql.parquet)指定,但对于内置源,您也可以使用它们的短名称(json、parquet、jdbc、orc、libsvm、csv、text)。使用此语法,可以将从任何数据源类型加载的数据帧转换为其他类型 要加载JSON文件,您可以使用:
val peopleDF = spark.read.format("json").load("examples/src/main/resources/people.json")
peopleDF.select("name", "age").write.format("parquet").save("namesAndAges.parquet")
有关spark的更多信息。您还可以手动指定将与要传递给数据源的任何额外选项一起使用的数据源。数据源由它们的完全限定名(即org.apache.spark.sql.parquet)指定,但对于内置源,您也可以使用它们的短名称(json、parquet、jdbc、orc、libsvm、csv、text)。使用此语法,可以将从任何数据源类型加载的数据帧转换为其他类型 要加载JSON文件,您可以使用:
val peopleDF = spark.read.format("json").load("examples/src/main/resources/people.json")
peopleDF.select("name", "age").write.format("parquet").save("namesAndAges.parquet")
有关spark的更多信息。您能否更新一份您推入Elasticsearch的示例文档?另外,如果你能分享它的映射,我可以帮你。你能更新一个你推到Elasticsearch的示例文档吗?如果你能分享它的映射,我可以帮你。