Apache spark 将SparkR数据帧传递到用户定义函数中

Apache spark 将SparkR数据帧传递到用户定义函数中,apache-spark,spark-dataframe,sparkr,Apache Spark,Spark Dataframe,Sparkr,我知道,要将用户定义的函数应用于SparkR数据帧,可以使用dappy/gapply。我想知道直接将SparkR数据帧传递到UDF是否是一种好的做法?e、 例如,首先创建一个数据帧 df <- createDataFrame(mtcars) df myFunction <- function(df) { return( df$mpg * 2) } df$new_col <- myFunction(df) myFunction <- function(colNam

我知道,要将用户定义的函数应用于SparkR数据帧,可以使用dappy/gapply。我想知道直接将SparkR数据帧传递到UDF是否是一种好的做法?e、 例如,首先创建一个数据帧

df <- createDataFrame(mtcars)
df
myFunction <- function(df) {
  return( df$mpg * 2)
}

df$new_col <- myFunction(df)
myFunction <- function(colName) {
  return( colName * 2 )
}
df$new_col <- myFunction(df$mpg)