基于Python中的其他行创建新行？

df:

我想根据去年的月份和年份创建一个新行。例如，在我的df中，截至月份=6月和年份=20已填写，因此我需要填写年份=20的七月月份，因此我需要检查去年月份=7月和年份=19，在那里我看到两个记录，即

  Date    Month  year  Month_yr
0 Jul 19  Jul    19     Jul_2019
1 Ogf 19  Jul    19     Jul_2019
2 May19    May   19    May_2019
3 May 19   May   19    May_2019
4 19May    May   19    May_2019
5 Jun19    Jun   19    Jun_2019
6 Jun 19   Jun   19    Jun_2019
7 May 20   May   20    May_2019
8 20May    May   20    May_2019
9 Jun20    Jun   20    Jun_2019
10 Jun 20  Jun   20    Jun_2019

输出：

0 Jul 19  Jul    19     Jul_2019
1 Ogf 19  Jul    19     Jul_2019

---

每个月都有相同的过程，以此类推……

您可以从第19年中选择所有大于第20年最后一个月的记录，并将其合并

  Date    Month  year  Month_yr
0 Jul 19   Jul    19     Jul_2019
1 Ogf 19   Jul    19     Jul_2019
2 May19    May   19    May_2019
3 May 19   May   19    May_2019
4 19May    May   19    May_2019
5 Jun19    Jun   19    Jun_2019
6 Jun 19   Jun   19    Jun_2019
7 May 20   May   20    May_2019
8 20May    May   20    May_2019
9 Jun20    Jun   20    Jun_2019
10 Jun 20  Jun   20    Jun_2019
11 Jul 20   Jul  20     Jul_2019
12 Ogf 20   Jul  20     Jul_2019

结果:

import pyspark.sql.functions as F
# Test data
dfs = sqlContext.createDataFrame([('Jan',19,1),('Feb',19,1),('Mar',19,1),('Aug',19,5),('Sep',19,1),('Dec',19,1),('Jan',20,6),('Feb',20,8),('Feb',20,7),('Mar',20,8)],schema=['month','year','value'])
# convert month to a date column
df_mnth = dfs.withColumn("mnth_format",F.to_date('month',format='MMM'))
# Find the maximum month from year 20
max_month = ((df_mnth.filter('year=20').select(F.max('mnth_format').alias('max'))).collect())[0]['max']
# Select all rows later that latest month in 20 from year 19 and replace them with year 20
df_res = df_mnth.filter((F.col('year')==19)&  (F.col('mnth_format')>max_month)).replace(19,20,subset='year')
#union them
df_fin =df_mnth.union(df_res.select(df_mnth.columns)).drop('mnth_format')

+-----+----+-----+
|month|year|value|
+-----+----+-----+
|  Jan|  19|    1|
|  Feb|  19|    1|
|  Mar|  19|    1|
|  Aug|  19|    5|
|  Sep|  19|    1|
|  Dec|  19|    1|
|  Jan|  20|    6|
|  Feb|  20|    8|
|  Feb|  20|    7|
|  Mar|  20|    8|
|  Aug|  20|    5|
|  Sep|  20|    1|
|  Dec|  20|    1|
+-----+----+-----+