当两个ID在Scala中具有相同的最高价格时,使用较小的ID获取最高价格
我有一个dataframe调用productPrice,它有列ID和列Price,我想得到具有最高价格的ID,如果两个ID具有相同的最高价格,我只得到ID号较小的ID。我用当两个ID在Scala中具有相同的最高价格时,使用较小的ID获取最高价格,scala,apache-spark,apache-spark-sql,databricks,Scala,Apache Spark,Apache Spark Sql,Databricks,我有一个dataframe调用productPrice,它有列ID和列Price,我想得到具有最高价格的ID,如果两个ID具有相同的最高价格,我只得到ID号较小的ID。我用 val highestprice=productPrice.orderBy(asc(“ID”).orderBy(desc(“price”)).limit(1) 但是我得到的结果不是ID较小的,而是ID较大的。我不知道我的逻辑出了什么问题,知道吗 试试这个 scala> val df = Seq((4, 30),(2,5
val highestprice=productPrice.orderBy(asc(“ID”).orderBy(desc(“price”)).limit(1)
但是我得到的结果不是ID较小的,而是ID较大的。我不知道我的逻辑出了什么问题,知道吗 试试这个
scala> val df = Seq((4, 30),(2,50),(3,10),(5,30),(1,50),(6,25)).toDF("id","price")
df: org.apache.spark.sql.DataFrame = [id: int, price: int]
scala> df.show
+---+-----+
| id|price|
+---+-----+
| 4| 30|
| 2| 50|
| 3| 10|
| 5| 30|
| 1| 50|
| 6| 25|
+---+-----+
scala> df.sort(desc("price"), asc("id")).show
+---+-----+
| id|price|
+---+-----+
| 1| 50|
| 2| 50|
| 4| 30|
| 5| 30|
| 6| 25|
| 3| 10|
+---+-----+
使用Spark SQL处理相同的问题:
val df = Seq((4, 30),(2,50),(3,10),(5,30),(1,50),(6,25)).toDF("id","price")
df.createOrReplaceTempView("prices")
--
%sql
SELECT id, price
FROM prices
ORDER BY price DESC, id ASC
LIMIT(1)