Spark:Scala相当于Javadf.filter()
我想知道Scala与Spark Java函数的等价物是什么Spark:Scala相当于Javadf.filter(),scala,apache-spark,Scala,Apache Spark,我想知道Scala与Spark Java函数的等价物是什么filter: DataFrame df = sqlContext.read().parquet(xxx); String filter = "SomeFilter"; df.filter(filter); 通常情况下,filter应该在Scala中使用函数作为输入,为什么它在Java中使用字符串?这是相同的模语法: val df = sqlContext.read().parquet(xxx) val filter = "SomeFi
filter
:
DataFrame df = sqlContext.read().parquet(xxx);
String filter = "SomeFilter";
df.filter(filter);
通常情况下,
filter
应该在Scala中使用函数作为输入,为什么它在Java中使用字符串?这是相同的模语法:
val df = sqlContext.read().parquet(xxx)
val filter = "SomeFilter"
df.filter(filter)
使用。请注意,Scala Spark API中的Dataframe
是一个Dataset[Row]
还有一个重载,它接受一个列
,还有一个@实验性的
,它接受一个函数
在Scala中,过滤器通常应该以一个函数作为输入,为什么它在Java中以字符串作为输入
filter
只是一个方法名,它可以接受定义为的任何参数。这里的字符串(或列
)表示SQL布尔条件。您好,谢谢您的回答!我想知道Java中df.show()的等价物是什么?我想把它放在日志中,所以我需要它是字符串,但当我使用showString()时,它会显示不可读的字符