Python 熊猫数据帧-lambda演算和每个系列的最小值

我有一个csv，包含3列，count_id，AMV和time

我正在使用熊猫，并已将其作为数据帧阅读

results= pd.read_csv('./output.csv')

首先，我对数据帧进行排序，首先是count_id，然后是AMV

results_sorted = results.sort_index(by=['count_id','AMV'], ascending=[True, True])

这给

   count_id   AMV  Hour
0    16012E  4004    14
1    16012E  4026    12
2    16012E  4099    15
3    16012E  4167    11
4    16012E  4239    10
5    16012E  4324    13
6    16012E  4941    16
7    16012E  5088    17
8    16012E  5283     9
9    16012E  5620     8
10   16012E  5946    18
11   16012E  6146     7
12   16012W  3622    10
13   16012W  3904    12
14   16012W  3979    11
15   16012W  4076     9
16   16012W  4189    13
17   16012W  4870    14
18   16012W  4899    18
19   16012W  5107    15
20   16012W  5659     8
21   16012W  6325     7
22   16012W  6460    17
23   16012W  6500    16

我现在想对数据进行一些归一化处理，以便最终将其绘制在同一个绘图上。我想做的是找到每个系列的AMV最小值（count_id），然后从给定的AMV中减去这个最小值。这将给我一个新的专栏AMV_norm

这看起来像：

   count_id   AMV  Hour  AMV_norm
0    16012E  4004    14         0
1    16012E  4026    12        22
2    16012E  4099    15        95
3    16012E  4167    11       163
4    16012E  4239    10       235
5    16012E  4324    13       320
6    16012E  4941    16       937
7    16012E  5088    17      1084
8    16012E  5283     9      1279
9    16012E  5620     8      1616
10   16012E  5946    18      1942
11   16012E  6146     7      2142
12   16012W  3622    10         0
13   16012W  3904    12       282
14   16012W  3979    11       357
15   16012W  4076     9       454
16   16012W  4189    13       567
17   16012W  4870    14      1248
18   16012W  4899    18      1277
19   16012W  5107    15      1485
20   16012W  5659     8      2037
21   16012W  6325     7      2703
22   16012W  6460    17      2838
23   16012W  6500    16      2878

如何定义查找每个系列的最小AMV值而不是总AMV值的函数？它看起来像这样：

def minimum_series_value(AMV):
    return AMV.argmin()

results_sorted['AMV_norm'] = results_sorted.apply(lambda row:results_sorted(row['AMV']))

然后我需要创建一个新列，并使用lambda函数填充该行。我知道它看起来像这样：

def minimum_series_value(AMV):
    return AMV.argmin()

results_sorted['AMV_norm'] = results_sorted.apply(lambda row:results_sorted(row['AMV']))

---

我相信您希望在

count\u id

上分组，然后计算当前值与该组的最小值之间的差值

df['AMV_norm'] = (df.groupby('count_id').AMV
                    .transform(lambda group_series: group_series - np.min(group_series)))

>>> df
   count_id   AMV  Hour  AMV_norm
0    16012E  4004    14         0
1    16012E  4026    12        22
2    16012E  4099    15        95
3    16012E  4167    11       163
4    16012E  4239    10       235
5    16012E  4324    13       320
6    16012E  4941    16       937
7    16012E  5088    17      1084
8    16012E  5283     9      1279
9    16012E  5620     8      1616
10   16012E  5946    18      1942
11   16012E  6146     7      2142
12   16012W  3622    10         0
13   16012W  3904    12       282
14   16012W  3979    11       357
15   16012W  4076     9       454
16   16012W  4189    13       567
17   16012W  4870    14      1248
18   16012W  4899    18      1277
19   16012W  5107    15      1485
20   16012W  5659     8      2037
21   16012W  6325     7      2703
22   16012W  6460    17      2838
23   16012W  6500    16      2878

编辑： @AndyHayden的方法稍微快一点：

%timeit df["AMV"] - df.groupby('count_id')["AMV"].transform('min')
1000 loops, best of 3: 736 µs per loop

%timeit df.groupby('count_id').AMV.transform(lambda x: x - np.min(x))
1000 loops, best of 3: 804 µs per loop

%timeit df.groupby('count_id').AMV.apply(lambda x: x - np.min(x))
1000 loops, best of 3: 1.32 ms per loop

---

从变换最小值中减去AMV列：

In [11]: df.groupby('count_id')["AMV"].transform('min')
Out[11]:
0     4004
1     4004
2     4004
3     4004
4     4004
...
21    3622
22    3622
23    3622
dtype: int64

In [12]: df["AMV"] - df.groupby('count_id')["AMV"].transform('min')
Out[12]:
0        0
1       22
2       95
3      163
4      235
...
21    2703
22    2838
23    2878
dtype: int64

In [13]: df["AMV_norm"] = df["AMV"] - df.groupby('count_id')["AMV"].transform('min')

---

使用在变换中返回序列的lambda似乎很奇怪！（而不是使用apply。）我猜它们使用相同的路径，但是transform通常意味着一个值分布在组上（例如transform（'min'）），而apply意味着组可以返回任何内容。但我不确定，这是我的理解。很有趣，谢谢。我更喜欢使用lambda，但正如你所说，Andy的反应更快。谢谢你的努力！