Pyspark:检查数据帧中是否存在列
我有一个大的数据框,在其中我需要检查数据框中是否存在一个特定的列(列a),如果该列存在,则基于需要进行一些处理,否则它必须进行一些其他处理- 我目前正在下面尝试-Pyspark:检查数据帧中是否存在列,pyspark,Pyspark,我有一个大的数据框,在其中我需要检查数据框中是否存在一个特定的列(列a),如果该列存在,则基于需要进行一些处理,否则它必须进行一些其他处理- 我目前正在下面尝试- try: input_df = input_df.withColumn("column_A", input_df["column_A"].cast(StringType())) Do some processing except:
try:
input_df = input_df.withColumn("column_A", input_df["column_A"].cast(StringType()))
Do some processing
except:
input_df = input_df.drop('column_B')
必须有更好的方法来实现这一目标。提前感谢我不知道什么是“更好”的方法,但这是有效的
如果df.列中有“id”:
打印(“有id”)
其他:
打印(“没有id”)
#没有身份证
我不明白什么是“更好”的方法,但这是有效的
如果df.列中有“id”:
打印(“有id”)
其他:
打印(“没有id”)
#没有身份证