Audio 如何使用mkvmerge和外部时间代码强制A/V同步？ 背景

我正在做一个项目，其中视频和音频是对MKV源文件的算法解释，我使用ffmpeg-ss和-t提取音频和视频的特定区域以分离文件。我在音频过程中使用视频中的场景更改（即视频场景更改中的音频更改），因此同步至关重要

音频为48khz，使用512个采样块。 视频是23.976fps（我也试过24）

我将场景更改的帧开始以累积块的形式存储在文件中：

blocksPerFrame = (48000 / 512) / 23.976
sceneOnsetBlock = sceneOnsetFrame*blocksPerFrame

我在音频代码中使用这些块将与每个场景关联的样本作为一个组来处理

当我将音频和视频重新组合在一起时（目前使用ffmpeg在MKV容器中生成mp4（v）mp3（a）），音频和视频开始同步，但逐渐漂移，直到它结束约35秒。最糟糕的是，音频滞后是非线性的！所谓非线性，我的意思是，如果我根据时间滞后的位置绘制滞后，我不会得到一条线，而是你在下图中看到的）。由于这种非线性，我不能仅仅移动或缩放音频以适应视频。我无法找出音频延迟非线性增加的原因；我已经反复检查了我的数学

由于我知道场景更改的确切时间，我应该能够为mkvmerge生成“外部时间码”（来自上面的块），以完美地同步输出

子问题：

这是最好的方法吗（除了试图找出最初的错误之外）？因为我使用我的视频帧作为 参考，如果我使用场景更改作为音频的时间码， 它会强制视频与音频匹配还是相反？我更关心的是同步，而不是持续时间。这段视频制作起来要费劲得多，所以我宁愿释放一些声音而不是一些帧

我不清楚在时间码文件中使用什么数字。 根据mkvmerge的视频“这正是 一帧，对于音频，这是一个特定音频类型的数据包。” 由于我使用MP3，数据包大小是多少？理想情况下，我可以指定一个与我的块大小（512）匹配的数据包大小（在音频编码器中），以保持一致性和简单性。我可以用ffmpeg做这个吗

---

谢谢大家!

我最终在我的代码中解决了问题的原因，因此我永远不需要遵循上面的想法。在与mkvmerge作者的讨论中，我确定了以下答案：

最好将视频同步到音频，因为一些播放器使用音频时间戳（时间码）作为参考，并且视频比音频更容易被播放器减慢和加快

音频没有单一的数据包大小。数据包大小取决于编码器，甚至可能在流的不同部分具有不同的大小。我们必须从MKV报头中提取每个数据包中的样本数，并使用它来计算每个数据包的持续时间以生成时间戳

速率（帧速率、比特率）是恒定的还是可变的？这并不是说它会使实际的同步变成非线性的，但也许它会偏离图形？