Python 根据条件有效地将计算应用于数据帧？

这是我第一次使用堆栈溢出。我对编码和熊猫很陌生，所以请容忍我。我正在练习使用Python/Pandas而不是Excel操作数据，我遇到了以下问题

我正在尝试按年度标准化特定列的值。我的数据集很小，所以我采用的方法（如下所示）效果很好，但是，我相当肯定这不是完成这项任务的好方法。有没有更好的方法通过列表理解或对数据帧应用函数来实现这一点？（请注意，如果您能推荐任何其他资源来学习这些主题或示例，我们将不胜感激！）

样本数据：

IN: df = pd.DataFrame(data=[[2018,10,100,50], [2018,11,110,30], [2017,12,120,10], [2017, 15, 115, 40]], columns=['Year','c1','c2','c3'])
OUT:
   Year  c1   c2   c3
0  2018  10  100   50
1  2018  11  110   30
2  2017  12  120   10
3  2017  15  115   40

样本输出：

    Year    c1  c2  c3    c1_std      c2_std
0   2018    10  100 50  -0.707107   -0.707107
1   2018    11  110 30  0.707107    0.707107
2   2017    12  120 10  0.707107    0.707107
3   2017    15  115 40  -0.707107   -0.707107

请注意，标准化输出仅适用于3列中的2列

我的做法：

首先，我创建了两个表。一个用于列和年份的平均值，以及一个用于列和年份的标准偏差

standard_devs = pd.DataFrame(data=[],index=[2018,2017], columns=['c1', 'c2'])
means = pd.DataFrame(data=[],index=[2018,2017], columns=['c1', 'c2'])  
for y in [2018,2017]:
    for col in ['c1', 'c2']:
        standard_devs.loc[y,col] = df[df['Year']==y][col].std()
        means.loc[y,col] = df[df['Year']==y][col].mean()

我迭代了我的原始数据框架，并根据适当的年份和列计算了标准值

for i in list(df.index):
    for col in ['c1', 'c2']:
        year = df.loc[i,'Year']
        df.loc[i,col+'_std'] = (df.loc[i,col]-means.loc[year, col])/standard_devs.loc[year, col]

我之前读过，迭代数据帧是一种糟糕的做法。我知道这种方法可能无法扩展，所以我想知道如何才能更有效地进行编码

谢谢大家!

您可以使用此处计算

std

和

mean

。这将按组计算适当的度量，并返回一个轴长度相同的系列

df

：

for c in ['c1', 'c2']:
    stds = df.groupby('Year')[c].transform('std')
    means = df.groupby('Year')[c].transform('mean')
    df[f'{c}_std'] = (df[c] - means) / stds

---

另一种方法是临时将索引设置为groupby键：

means = df.groupby('Year')[['c1', 'c2']].mean()
stds = df.groupby('Year')[['c1', 'c2']].std()

(df.join((((df.set_index('Year') - means) / stds))
         .reset_index(drop=True)
         .add_suffix('_std')))

[外]

---

请为输出添加一个示例，即您想要什么结果。迭代应该是PandasHi gtomer的最后手段，我已经添加了一些示例输出。嗨，Chris，谢谢你的回复！我应该更清楚地回答我的问题，但我不想标准化DataFrame中的每一列。在这个例子中，我只标准化了3列中的2列。此外，如果我将其应用于具有非数字列的数据帧，该解决方案会有效还是会失败，因为生成的平均值和STD数据帧的长度会不同？谢谢如果您尝试将此应用于的任何列都是非数字的，则它将失败。

   Year  c1   c2  c3    c1_std    c2_std
0  2018  10  100  50 -0.707107 -0.707107
1  2018  11  110  30  0.707107  0.707107
2  2017  12  120  10 -0.707107  0.707107
3  2017  15  115  40  0.707107 -0.707107