Apache spark 保存为拼花地板并写入红移时Spark持久化数据集_Apache Spark

Apache spark 保存为拼花地板并写入红移时Spark持久化数据集

apache-spark

Apache spark 保存为拼花地板并写入红移时Spark持久化数据集,apache-spark,Apache Spark,当需要在s3中写入parquets并将其保存到红移时，尝试持久化数据集是否有意义 dataset.write .mode(SaveMode.Overwrite).parquet(s"s3a://s3path") dataset.write.format("com.databricks.spark.redshift") .option("url", redshiftJdbcUrl) .option("dbtable", "table") .option("tempdir",

当需要在s3中写入parquets并将其保存到红移时，尝试持久化数据集是否有意义

dataset.write
    .mode(SaveMode.Overwrite).parquet(s"s3a://s3path")

dataset.write.format("com.databricks.spark.redshift")
  .option("url", redshiftJdbcUrl)
  .option("dbtable", "table")
  .option("tempdir", s"s3a://s3PathTemp")
  .mode("append")
  .save()

在这个例子中，我写入拼花地板，保存到redshift，还需要抓取max id来单独保存在s3中，怎么样

 val lastId: String = dataset.describe("id").filter("summary = 'max'").select("id").collect()(0).getString(0)
 Seq(lastId).toDS().coalesce(1).write
  .mode(SaveMode.Overwrite)
  .text(S3PathMaxId)