如何使用JAVA在Spark SQL中基于单列删除重复行_Java_Apache Spark Sql

如何使用JAVA在Spark SQL中基于单列删除重复行

java

如何使用JAVA在Spark SQL中基于单列删除重复行,java,apache-spark-sql,Java,Apache Spark Sql,我需要了解如何使用Java在single-in-Spark SQL的基础上从数据帧中删除重复行与普通SQL一样，行号（）位于（按列划分按Col DESC订购）。如何将此步骤转换为Java中的Spark SQL？您可以使用dataframe.dropDuplicates（“col1”）从dataframe中删除重复项。它将删除col1中具有重复项的所有行。此API可从wards上的Spark 2.x上获得。您看起来正确。我们应该使用窗口功能，然后过滤掉行数为1的数据帧，以获得最新记录（按字段排

我需要了解如何使用Java在single-in-Spark SQL的基础上从数据帧中删除重复行

与普通SQL一样，行号（）位于（按列划分

按Col DESC订购）。如何将此步骤转换为Java中的Spark SQL？

您可以使用dataframe.dropDuplicates（“col1”）从dataframe中删除重复项。它将删除col1中具有重复项的所有行。此API可从wards上的Spark 2.x上获得。

您看起来正确。我们应该使用窗口功能，然后过滤掉行数为1的数据帧，以获得最新记录（按字段排序有助于给出行数）

请点击以下链接