Python 将历史图片与当前图片合并

我有下面的问题，我被卡住了。我有两张墙上的画。一张是1900年左右的历史照片，另一张是当前照片：

我在当前图片上有很多多边形注释，我想在历史照片上显示这些注释，这就是为什么我想将历史照片合并到当前图片中，同时保持当前图片的原样

到目前为止，我试图通过使用SIFT在两张图片中找到对应点，然后使用cv2.findFundamentalMat来解决这个问题。然后我使用cv2.0来获得每个图像的单应矩阵。最后，我使用cv2.0透视图进行校正

结果并不令人信服。我的猜测是，这是由于镜头畸变造成的，通过比较两张图片，甚至可以看到镜头畸变

我怎样才能解决这个问题？解决镜头畸变是否有助于解决问题？如果是，我怎么做