Python 熊猫指数化缺失值

假设我有以下两个数据帧：

其中我有一个时间序列，其中包含不同id的缺失价格值（列“val”）：

import pandas as pd
df1 = pd.DataFrame({'id': ['1', '1', '1', '2', '2'], 
                    'year': [2013, 2014, 2015, 2012, 2013],
                    'val': [np.nan, np.nan, 300, np.nan, 150]})

df1

这看起来像：

  id  year    val
0  1  2013    NaN
1  1  2014    NaN
2  1  2015  300.0
3  2  2012    NaN
4  2  2013  150.0

   year  index    factor
0  2011    100       NaN
1  2012    103  1.030000
2  2013    105  1.019417
3  2014    109  1.038095
4  2015    115  1.055046

其中我有一个随时间变化的价格指数系列，我可以计算不同年份之间的价格通胀系数：

df2 = pd.DataFrame({'year': [2011, 2012, 2013, 2014, 2015],
                    'index': [100, 103, 105, 109, 115]})
df2['factor'] =  df2['index'] / df2['index'].shift()
df2

这看起来像：

  id  year    val
0  1  2013    NaN
1  1  2014    NaN
2  1  2015  300.0
3  2  2012    NaN
4  2  2013  150.0

   year  index    factor
0  2011    100       NaN
1  2012    103  1.030000
2  2013    105  1.019417
3  2014    109  1.038095
4  2015    115  1.055046

现在假设我想使用第二个数据帧的因子对给定id（项目）的最近可用价格值进行反向索引。哪种方法最有效

到目前为止，我尝试了以下方法（但是对于我使用的大型数据集来说，这个循环非常慢，因为每个循环只占用1个时间段）：

因此，2014年的价值为：300/1.038095。 2013年的价值：300/1.038095/1.019417

有没有更好更快的方法达到同样的效果？ 提前谢谢

您可以在列

factor

上使用，并在使用

[：-1]

反转顺序后，都在

groupby

中使用，例如：

df1 = df1.merge(df2[['year', 'factor']], how = 'left', on = 'year')
df1.loc[df1['val'].notnull(),'factor']=1 #set factor to one where val exists
# here is how to get the factor you want when it's not just before a value
df1['factor'] = df1.groupby('id')['factor'].transform(lambda x: x[::-1].cumprod()[::-1])
df1['val'] = df1['val'].bfill()/df1['factor'] #back fill val no limitation and divide by factor
print (df1)
  id  year         val    factor
0  1  2013  283.486239  1.058252 #here it's 1*1.038095*1.019417
1  1  2014  288.990826  1.038095 #here it's 1*1.038095
2  1  2015  300.000000  1.000000 
3  2  2012  145.631068  1.030000 #here it's 1*1.03
4  2  2013  150.000000  1.000000

---

那么什么是val呢？在合并之前，您可以尝试从第二个数据集中删除重复项。并设置选项以根据其索引方式获取上一个/第一个结果

df2。删除重复项（'year'，keep='first'，inplace=False）

不确定我是否理解该问题though@RushabhMehtaval是值列，例如带有价格的值列，对于较老的年份，该值缺失，需要反向填充（针对通货膨胀进行了更正）基于最近可用的价格。@Ben.T不，我没有介于两者之间的nan值，因此给定的解决方案适用于我的用例。谢谢！这就是我要找的！我将研究提到的函数。