Apache spark 将SparkR数据帧传递到用户定义函数中
我知道,要将用户定义的函数应用于SparkR数据帧,可以使用dappy/gapply。我想知道直接将SparkR数据帧传递到UDF是否是一种好的做法?e、 例如,首先创建一个数据帧Apache spark 将SparkR数据帧传递到用户定义函数中,apache-spark,spark-dataframe,sparkr,Apache Spark,Spark Dataframe,Sparkr,我知道,要将用户定义的函数应用于SparkR数据帧,可以使用dappy/gapply。我想知道直接将SparkR数据帧传递到UDF是否是一种好的做法?e、 例如,首先创建一个数据帧 df <- createDataFrame(mtcars) df myFunction <- function(df) { return( df$mpg * 2) } df$new_col <- myFunction(df) myFunction <- function(colNam
df <- createDataFrame(mtcars)
df
myFunction <- function(df) {
return( df$mpg * 2)
}
df$new_col <- myFunction(df)
myFunction <- function(colName) {
return( colName * 2 )
}
df$new_col <- myFunction(df$mpg)