使用Scala Spark限制行
我有一个看起来正确的数据集。我可以看到我的所有行都按如下顺序正确排列:使用Scala Spark限制行,scala,apache-spark,Scala,Apache Spark,我有一个看起来正确的数据集。我可以看到我的所有行都按如下顺序正确排列: df1.orderBy($"count".desc) df1.show() df1.orderBy($"count".desc).limit(5) df1.show() 但当我尝试添加这样的限制时: df1.orderBy($"count".desc) df1.show() df1.orderBy($"count".desc).limit(
df1.orderBy($"count".desc)
df1.show()
df1.orderBy($"count".desc).limit(5)
df1.show()
但当我尝试添加这样的限制时:
df1.orderBy($"count".desc)
df1.show()
df1.orderBy($"count".desc).limit(5)
df1.show()
我还没弄清楚所有的事。我想我在正确地遵循文档
那么如何限制呢?数据集方法返回一个新的数据集对象,它们不会改变现有的数据集对象。因此,您需要显示结果:
df2 = df1.orderBy($"count".desc).limit(5)
df2.show()