在Pyspark中使用随机固定值向现有数据帧添加列
我是Pyspark的新手，我正在尝试向现有数据帧添加一个新列。新列应该只包含4个固定值（例如在Pyspark中使用随机固定值向现有数据帧添加列,pyspark,Pyspark,我是Pyspark的新手，我正在尝试向现有数据帧添加一个新列。新列应该只包含4个固定值（例如1,2,3,4），我想为每行随机选取一个值 我如何才能做到这一点？Pyspark数据帧是不可变的，因此您必须返回一个新的数据帧（例如，您不能仅以使用Pandas数据帧的方式分配数据帧）。要执行所需操作，请使用udf： from pyspark.sql.functions import udf import numpy as np df = <original df> udf_randint
1,2,3,4我如何才能做到这一点？Pyspark数据帧是不可变的，因此您必须返回一个新的数据帧（例如，您不能仅以使用Pandas数据帧的方式分配数据帧）。要执行所需操作，请使用
udffrom pyspark.sql.functions import udf
import numpy as np
df = <original df>
udf_randint = udf(np.random.randint(1, 4))
df_new = df.withColumn("random_num": udf_randint)
从pyspark.sql.functions导入udf
将numpy作为np导入
df=
udf_randint=udf（np.random.randint（1,4））
df_new=df.withColumn（“random_num”：udf_randint）
litsize=2