pyspark：是否可以将行添加到空数据帧或rdd
我有一个数据帧（从配置单元表创建）。我已经将数据帧转换为RDD，并且正在逐行检索。在每一行上，我都在分析每一列的值，如果某一列无效，则使用列名和值添加到字典中 然后我检查字典是否是空的。如果非空，我想将该行添加到数据帧。再次在下一行继续相同的解析 我已经用表模式创建了一个空数据框。是否可以将该行添加到空数据框中，以便在最后将数据框保存到error_log_表中 否则，请建议您是否有更好的方法。我正在考虑向原始数据框添加一个新列，如果该行无效，请将该行的列值修改为“T”。通过这个，我可以过滤无效的行。我不知道如何仅为那个特定的无效行更新新的列值 谢谢你的意见和建议pyspark：是否可以将行添加到空数据帧或rdd,pyspark,spark-dataframe,Pyspark,Spark Dataframe,我有一个数据帧（从配置单元表创建）。我已经将数据帧转换为RDD，并且正在逐行检索。在每一行上，我都在分析每一列的值，如果某一列无效，则使用列名和值添加到字典中 然后我检查字典是否是空的。如果非空，我想将该行添加到数据帧。再次在下一行继续相同的解析 我已经用表模式创建了一个空数据框。是否可以将该行添加到空数据框中，以便在最后将数据框保存到error_log_表中 否则，请建议您是否有更好的方法。我正在考虑向原始数据框添加一个新列，如果该行无效，请将该行的列值修改为“T”。通过这个，我可以过滤无效的
谢谢 您可以使用
with columndf.withColumn(new_column_name, function_which_will_return_required_value)
您可以使用
with columndf.withColumn(new_column_name, function_which_will_return_required_value)