Image processing 调整两个极其相似但略有不同的视频

我有两个超级粉碎兄弟的视频游戏。在一个视频中，角色是存在的。在另一个视频中，角色不存在。除了在其中一个视频中看不见的角色外，其他关于视频的一切都是完全相同的

当我输出这两个视频时，我必须在视频编辑器中手动对齐它们。一旦它们对齐，它们就会保持同步！但是，视频的开始时间是随机的，这就是问题所在

自动对齐这两个不同但极其相似的视频的好方法是什么？下面是示例框架

目前的想法：

---

在视频中间随机选取一帧，与同一位置的其他视频进行比较。使用像素之间的均方误差。向前移动5秒，向后移动5秒。取MSE差异最小的帧，并将其用作匹配帧，以从开始的较长视频中移除偏移。这看起来非常脆弱和缓慢。

您当前的想法很好，但根本不需要缓慢。因为图像的不同部分只是战士！我们可以假设这些战斗机总是在图像的中间，所以你只需要匹配图像的一小部分，就像我画的矩形：

---

此外，您还可以使用其他快速匹配方法，如ORB功能。

为什么这很可能会被忽略，因为您的问题太广泛（或在这么多的新语中：“需要更多关注”），并且没有提供详细的答案。当然，你知道：！？看看时钟怎么样？字体和位置是已知的，因此可以使用模板匹配。你可以寻找秒数变化的瞬间，以对齐视频。@MarkSetchell这是个好主意！我可以在特定的视频片段上使用OCR来提取时间。使用Smash，我们不能假设它们总是在一个位置。屏幕上的颜色当然可以是极端的。另一个问题是，压缩使本应是像素完美相似性的内容略有不同。我应该解决这个问题。我将对ORB特性进行一些研究！我不熟悉这个概念，所以谢谢@NateW在图像的不同部分选取多个小方框，并对它们进行比较（无论它们在哪里），然后尝试其他方法进行差异检查，如相关系数。你想找到最好的匹配，而不是完美的匹配。此链接有助于：