Scala SPARK SQL:orderBy之后的groupBy是否保持了该顺序?
我有spark 2.3.0。在本例中,orderBy之后的groupBy是否保持该顺序Scala SPARK SQL:orderBy之后的groupBy是否保持了该顺序?,scala,hive,apache-spark-sql,Scala,Hive,Apache Spark Sql,我有spark 2.3.0。在本例中,orderBy之后的groupBy是否保持该顺序 id date name 1 2020-10-01 name1 1 2020-09-01 name2 1 2020-11-01 name3 代码如下: df .orderBy(col("date")) .groupBy(col("id")) .agg( first(col("name")) ).show()
id date name
1 2020-10-01 name1
1 2020-09-01 name2
1 2020-11-01 name3
代码如下:
df
.orderBy(col("date"))
.groupBy(col("id"))
.agg(
first(col("name"))
).show()
我预期的结果是:
id name
1 name2
我在以前的帖子上读到,秩序没有得到维持。但是我做了一些测试,并且保持了排序。不,没有,没有保证
由于groupBy方式排序而产生的洗牌和散列与前面的orderBy不同。这应该在以后做。这是新旧职位所给的。你能考虑接受这个答案吗?