Apache spark 什么';在数据帧中映射单个列的正确方法是什么?

Apache spark 什么';在数据帧中映射单个列的正确方法是什么?,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,通常我会做类似的事情 val-fun=udf{x=>…} df.withColumn(“新”),fun(df.col(“旧”))。drop(“旧”)。withColumnRename(“新”,“旧”) 有较短的路吗?我通常做以下几点: val df : DataFrame = ??? val fun = udf { x => ... } df.withColumn("old", fun(df.col("old"))) 但是你会丢失旧专栏中的信息,所以小心不要丢失有价值的日期 PS:当然

通常我会做类似的事情

val-fun=udf{x=>…}
df.withColumn(“新”),fun(df.col(“旧”))。drop(“旧”)。withColumnRename(“新”,“旧”)

有较短的路吗?

我通常做以下几点:

val df : DataFrame = ???
val fun = udf { x => ... }
df.withColumn("old", fun(df.col("old")))
但是你会丢失旧专栏中的信息,所以小心不要丢失有价值的日期

PS:当然,在Spark中可以通过不同的方式访问列。所以我让你决定用哪个