Python 如何在pyspark中迭代数据帧中的行

我有一个python脚本，它检查列的“I”行和“I+1”行，如果它们相同，则在特定行中一个名为“Dup”的新列标记为“yes”，否则标记为“no”。有人能帮忙转换成pyspark吗

**i=0
df['Dup']=''
try:
    while(i<=len(df)):
        if (df['column1'][i]==df['column1'][i+1] and df['column2'][i]==df['column2'][i+1]):
            df['Dup'][i]="Yes"
            i=i+1
        else:
            df['Dup'][i]="No"
            i=i+1
except KeyError:
    print ("Row Exception")**

**i=0
df['Dup']='
尝试：
while（我可以回答您的问题吗？不。如果我使用该解决方案，我需要返回一个数据帧，但在udf中不受支持。