delta lake优化命令的scala api_Scala_Apache Spark_Databricks

delta lake优化命令的scala api

scala apache-spark

delta lake优化命令的scala api,scala,apache-spark,databricks,Scala,Apache Spark,Databricks,假设您可以通过以下操作更改增量表的排序： spark.read.table(connRandom) .write.format("delta").saveAsTable(connZorder) sql(s"OPTIMIZE $connZorder ZORDER BY (src_ip, src_port, dst_ip, dst_port)") 问题是scala和SQL api之间的切换非常糟糕。我希望能够做到的是： spark.read.ta

假设您可以通过以下操作更改增量表的排序：

spark.read.table(connRandom)
     .write.format("delta").saveAsTable(connZorder)

sql(s"OPTIMIZE $connZorder ZORDER BY (src_ip, src_port, dst_ip, dst_port)")

问题是scala和SQL api之间的切换非常糟糕。我希望能够做到的是：

spark.read.table(connRandom)
     .write.format("delta").saveAsTable(connZorder)
     .optimize.zorderBy("src_ip", "src_port", "dst_ip", "dst_port")

但我找不到任何文件表明这是可能的

delta lake优化命令是否有scala api？如果是这样，我如何在scala中复制上述逻辑