Python 比较两个数据帧

Python 比较两个数据帧,python,pandas,dataframe,Python,Pandas,Dataframe,我有两个数据帧。我将以循环的形式解释我的需求——因为这就是我如何可视化问题的方式。 我意识到可以有另一种解决方案,所以如果可以用不同的方式来做,请随意分享!我对熊猫还不熟悉,所以我正在努力解决这个问题。提前谢谢你看我的问题 我有2个数据帧,有3列:ID、ODO、ododelength。ODOLength是每个ODO记录的运行差异,我使用:abs(Df1['ODO']-Df1['ODO'].shift(-1)) 如何获得FinalDF的逻辑如下:从df1中获取Odo和OdoLen,然后从df2中的

我有两个数据帧。我将以循环的形式解释我的需求——因为这就是我如何可视化问题的方式。 我意识到可以有另一种解决方案,所以如果可以用不同的方式来做,请随意分享!我对熊猫还不熟悉,所以我正在努力解决这个问题。提前谢谢你看我的问题

我有2个数据帧,有3列:ID、ODO、ododelength。ODOLength是每个ODO记录的运行差异,我使用:
abs(Df1['ODO']-Df1['ODO'].shift(-1))

如何获得FinalDF的逻辑如下:从df1中获取Odo和OdoLen,然后从df2中的每个Odo和OdoLen列中减去它。取差值的最小值并进行匹配。对于Df1和Df2的下一个比较,从第一个不匹配的Df2记录开始。如果Df2值不是最小值,则为当前Df1值 进行比较时,DF2的记录不包括在最终数据集中。例如,将Df1 ID20-与Df2 ID2000进行比较,最终结果为21.4((DfOne.ODO:1.02-DfTwo.ODO:2.68)-(DfOneODOLen:25.1-DfTwo.ODoLen-2.04)=21.4),但是当将Df1 ID20与Df2 3000进行比较时,最终差异为1.09((DfOne.ODO:1.02-DfTwo.ODO:4.72)-(DfOneODOLen:25.1-DfTwo.ODoLen-20.31)=.06)。在这种情况下,Df2 ID 3000与DF1 ID 20匹配,而Df2 ID-2000由于 差别更大。此时,任何其他匹配都不考虑DF2 ID 2000。因此,下一个DF1记录比较将从DF2ID4000开始,因为这是下一个不匹配的值

正如我所说,我愿意接受所有建议


谢谢

您可以使用
merge\u asof

步骤1:合并数据帧

df1['match']=df1.Odo+df1.OdoLength
df2['match']=df2.Odo+df2.OdoLength

out=pd.merge_asof(df1,df2,on='match',direction='nearest')
out.drop_duplicates(['id_y'])
Out[728]:
     Odo_x  OdoLength_x  id_x   match   Odo_y  OdoLength_y   id_y
0    -1.09         2.11    10    1.02    1.51         1.17   1000
1     1.02        25.10    20   26.12    4.72        20.31   3000
2    26.12        17.00    30   43.12   25.03        16.97   4000
3    43.12         3.69    40   46.81   42.00         3.74   5000
4    46.81         9.42    50   56.23   45.74         9.41   6000
5    56.23        54.84    60  111.07   55.15        54.90   7000
6   111.07        55.31    70  166.38  110.05        55.36   8000
7   166.38        24.89    80  191.27  172.39        17.96  11000
8   191.27         5.14    90  196.41  190.35         5.09  12000
9   196.41        11.33   100  207.74  195.44        11.34  13000
10  207.74        23.87   110  231.61  206.78        23.89  14000
步骤2

然后你可以做如下的事情来获得你的新专栏

out['OdoAndLengthDiff']=out.OdoLength_x-out.OdoLength_y+out.Odo_x-out.Odo_y 

顺便说一句我没有删除该列,如果需要,在您获得所有新值后,您可以使用
out=out.drop([columns],1)

哇。。。。这太棒了。这正是我要找的。我惊讶于这是多么少的代码行。在Sql Server中,这将是一场噩梦!!非常感谢你!!哇,代码让我大吃一惊,以至于我忘记了重要的部分!:-)我正在用一个更大的数据集进行尝试。在这种情况下,df1实际上比df2列表短。知道我为什么会犯这个错误吗?文件“C:\ProgramData\Anaconda3\lib\site packages\pandas\core\reforme\merge.py”,第1243行,在索引器raise ValueError('left'+msg)ValueError中:必须对左键进行排序在匹配之前,使用
df=df.sort\u values('match')
我尝试先对两个df进行排序,然后进行合并,但我还是犯了同样的错误
out['OdoAndLengthDiff']=out.OdoLength_x-out.OdoLength_y+out.Odo_x-out.Odo_y