Python Pyspark创建列并按不同步骤填充
我有这样一个数据帧:Python Pyspark创建列并按不同步骤填充,python,dataframe,pyspark,Python,Dataframe,Pyspark,我有这样一个数据帧: df1 Day Hour Values1 Monday 7 65 Monday 8 66 Monday 9 66 Tuesday 7 68 Tuesday 9 68 Tuesday 10 58 我想创建一个列“
df1
Day Hour Values1
Monday 7 65
Monday 8 66
Monday 9 66
Tuesday 7 68
Tuesday 9 68
Tuesday 10 58
我想创建一个列“Tag”,其中每一行根据不同的条件具有不同的字符串。例如,如果day==Monday,Hour==7,values1==65,则创建列标记并放置值“Blue”,以此类推
预期产出:
Day Hour Values1 Tag
Monday 7 65 'Blue'
Monday 8 66 'Red'
Monday 9 66 'Yellow'
Tuesday 7 68 'Blue'
Tuesday 9 68 'Black'
Tuesday 10 58 'Black'
我试图通过创建列标记,然后手动迭代每个单元格并使用if条件来实现。这是可行的,但显然是非常幼稚和缓慢的。是否有任何解决方案可以利用groupby或类似的功能?您可以在()时使用when()
和否则()
您可以使用多个when()
和otherwise()
您可以使用when()
和否则()
您可以使用多个when()
和otherwise()
from pyspark.sql.functions import *
df.withColumn("tag", when((col("day")=='monday') & (col('hour')==7) & (col('Values1')==65), "Blue))
df.withColumn("tag",
when(condition1,value)
.when(condition2,value)
.otherwise(value))