Python 通过匹配数据帧中另一列中的值而产生的行值差异
我有一个通过调用Pandas.io.json.json\u normalize()生成的数据帧。这是一个 例如:Python 通过匹配数据帧中另一列中的值而产生的行值差异,python,pandas,dataframe,Python,Pandas,Dataframe,我有一个通过调用Pandas.io.json.json\u normalize()生成的数据帧。这是一个 例如: dfIn = pd.DataFrame({'seed':[1324367672,1324367672,1324367673,1324367673,1324367674,1324367674], 'lanePolicy':[True,False,True,False,True,False,], 'stepsPerTrip':[40,37,93,72
dfIn = pd.DataFrame({'seed':[1324367672,1324367672,1324367673,1324367673,1324367674,1324367674], 'lanePolicy':[True,False,True,False,True,False,],
'stepsPerTrip':[40,37,93,72,23,70], 'density':[51,51,208,208,149,149]})
请注意,dfIn['seed']
中有成对的匹配值,dfIn['lanePolicy']
中有一个True
和一个False
值。如果dfIn['seed']
匹配两个给定行,则dfIn['density']
也将匹配。我想计算一个类似以下的表:
dfDesired = pd.DataFrame({'seed':[1324367672,1324367673,1324367674],
'stepsTrue':[40,93,23], 'stepsFalse':[37,72,70], 'stepsDiff':[3, 21, -47], 'density':[51,208,149]})
特别是,我正在查找dfindired['stepsDiff']
中的值,这是dfIn['stepsPerTrip']
中关联的False
和True
对于每对匹配的dfIn['lanePolicy']
的值之间的差异。还请注意,dfindired
的行数应为dfIn
的一半
我能够使用以下公式计算该单列的值:
dfDiff = dfIn.loc[dfIn['lanePolicy'] == True]['stepsPerTrip'].reset_index()['stepsPerTrip'] - dfIn.loc[dfIn['lanePolicy'] == False]['stepsPerTrip'].reset_index()['stepsPerTrip']
但是,我想创建一个新的DataFrame来保留其他列。我也尝试了以下方法,但结果不正确:
dfDesired = dfIn.groupby('seed').apply(lambda x:x.loc[x['lanePolicy']==True]['stepsPerTrip']-x.loc[x['lanePolicy']==False]['stepsPerTrip'])
提前谢谢。使用,通过和减去列,对于密度
列,添加带有种子的系列
,不使用以下重复项:
另一种解决方案是使用默认聚合函数mean
,如果在列seed
,“density”和lanePolicy
中重复:
df = (dfIn.pivot_table(index=['seed','density'], columns='lanePolicy',values='stepsPerTrip')
.add_prefix('steps'))
df['stepsDiff'] = df['stepsTrue'].sub(df['stepsFalse'])
df = df.reset_index().rename_axis(None, axis=1)
print (df)
seed density stepsFalse stepsTrue stepsDiff
0 1324367672 51 37 40 3
1 1324367673 208 72 93 21
2 1324367674 149 70 23 -47
0 3
1 21
2 -47
Name: stepsPerTrip, dtype: int64
dfDesired = dfIn.groupby('seed').apply(lambda x:x.loc[x['lanePolicy']==True]['stepsPerTrip']-x.loc[x['lanePolicy']==False]['stepsPerTrip'])
seed
1324367672 0 NaN
1 NaN
1324367673 2 NaN
3 NaN
1324367674 4 NaN
5 NaN
Name: stepsPerTrip, dtype: float64
df = dfIn.pivot('seed','lanePolicy','stepsPerTrip').add_prefix('steps')
df['stepsDiff'] = df['stepsTrue'].sub(df['stepsFalse'])
df['density'] = dfIn.drop_duplicates('seed').set_index('seed')['density']
df = df.reset_index().rename_axis(None, axis=1)
print (df)
seed stepsFalse stepsTrue stepsDiff density
0 1324367672 37 40 3 51
1 1324367673 72 93 21 208
2 1324367674 70 23 -47 149
df = (dfIn.pivot_table(index=['seed','density'], columns='lanePolicy',values='stepsPerTrip')
.add_prefix('steps'))
df['stepsDiff'] = df['stepsTrue'].sub(df['stepsFalse'])
df = df.reset_index().rename_axis(None, axis=1)
print (df)
seed density stepsFalse stepsTrue stepsDiff
0 1324367672 51 37 40 3
1 1324367673 208 72 93 21
2 1324367674 149 70 23 -47