Python 比较两个数据帧
我有两个数据帧。我将以循环的形式解释我的需求——因为这就是我如何可视化问题的方式。 我意识到可以有另一种解决方案,所以如果可以用不同的方式来做,请随意分享!我对熊猫还不熟悉,所以我正在努力解决这个问题。提前谢谢你看我的问题 我有2个数据帧,有3列:ID、ODO、ododelength。ODOLength是每个ODO记录的运行差异,我使用:Python 比较两个数据帧,python,pandas,dataframe,Python,Pandas,Dataframe,我有两个数据帧。我将以循环的形式解释我的需求——因为这就是我如何可视化问题的方式。 我意识到可以有另一种解决方案,所以如果可以用不同的方式来做,请随意分享!我对熊猫还不熟悉,所以我正在努力解决这个问题。提前谢谢你看我的问题 我有2个数据帧,有3列:ID、ODO、ododelength。ODOLength是每个ODO记录的运行差异,我使用:abs(Df1['ODO']-Df1['ODO'].shift(-1)) 如何获得FinalDF的逻辑如下:从df1中获取Odo和OdoLen,然后从df2中的
abs(Df1['ODO']-Df1['ODO'].shift(-1))
如何获得FinalDF的逻辑如下:从df1中获取Odo和OdoLen,然后从df2中的每个Odo和OdoLen列中减去它。取差值的最小值并进行匹配。对于Df1和Df2的下一个比较,从第一个不匹配的Df2记录开始。如果Df2值不是最小值,则为当前Df1值
进行比较时,DF2的记录不包括在最终数据集中。例如,将Df1 ID20-与Df2 ID2000进行比较,最终结果为21.4((DfOne.ODO:1.02-DfTwo.ODO:2.68)-(DfOneODOLen:25.1-DfTwo.ODoLen-2.04)=21.4),但是当将Df1 ID20与Df2 3000进行比较时,最终差异为1.09((DfOne.ODO:1.02-DfTwo.ODO:4.72)-(DfOneODOLen:25.1-DfTwo.ODoLen-20.31)=.06)。在这种情况下,Df2 ID 3000与DF1 ID 20匹配,而Df2 ID-2000由于
差别更大。此时,任何其他匹配都不考虑DF2 ID 2000。因此,下一个DF1记录比较将从DF2ID4000开始,因为这是下一个不匹配的值
正如我所说,我愿意接受所有建议
谢谢 您可以使用
merge\u asof
步骤1:合并数据帧
df1['match']=df1.Odo+df1.OdoLength
df2['match']=df2.Odo+df2.OdoLength
out=pd.merge_asof(df1,df2,on='match',direction='nearest')
out.drop_duplicates(['id_y'])
Out[728]:
Odo_x OdoLength_x id_x match Odo_y OdoLength_y id_y
0 -1.09 2.11 10 1.02 1.51 1.17 1000
1 1.02 25.10 20 26.12 4.72 20.31 3000
2 26.12 17.00 30 43.12 25.03 16.97 4000
3 43.12 3.69 40 46.81 42.00 3.74 5000
4 46.81 9.42 50 56.23 45.74 9.41 6000
5 56.23 54.84 60 111.07 55.15 54.90 7000
6 111.07 55.31 70 166.38 110.05 55.36 8000
7 166.38 24.89 80 191.27 172.39 17.96 11000
8 191.27 5.14 90 196.41 190.35 5.09 12000
9 196.41 11.33 100 207.74 195.44 11.34 13000
10 207.74 23.87 110 231.61 206.78 23.89 14000
步骤2
然后你可以做如下的事情来获得你的新专栏
out['OdoAndLengthDiff']=out.OdoLength_x-out.OdoLength_y+out.Odo_x-out.Odo_y
顺便说一句我没有删除该列,如果需要,在您获得所有新值后,您可以使用
out=out.drop([columns],1)
哇。。。。这太棒了。这正是我要找的。我惊讶于这是多么少的代码行。在Sql Server中,这将是一场噩梦!!非常感谢你!!哇,代码让我大吃一惊,以至于我忘记了重要的部分!:-)我正在用一个更大的数据集进行尝试。在这种情况下,df1实际上比df2列表短。知道我为什么会犯这个错误吗?文件“C:\ProgramData\Anaconda3\lib\site packages\pandas\core\reforme\merge.py”,第1243行,在索引器raise ValueError('left'+msg)ValueError中:必须对左键进行排序在匹配之前,使用df=df.sort\u values('match')
我尝试先对两个df进行排序,然后进行合并,但我还是犯了同样的错误
out['OdoAndLengthDiff']=out.OdoLength_x-out.OdoLength_y+out.Odo_x-out.Odo_y