Computer vision 光流：时间导数到底是什么？

我试图理解图像中时间导数的含义。虽然我理解亮度恒常性方程，但我不明白为什么取两幅图像之间的差值会得到时间导数

---

计算两帧之间的差值可以得到两帧之间每像素的像素强度差，但这与询问图像在一定时间跨度内的变化程度如何相同？

后续帧之间的差值是时间导数的结果

---

如果将该值除以帧间时间（即乘以每秒帧数值），则可获得适当的单位。

图像的时间导数

dI/dt

i（x，y，t）是图像在特定位置随时间的变化率。正如您所注意到的，这是两帧之间像素强度的差异。考虑到

（x，y）

处的单个像素，导数的有限差分近似为

fd=（I（x，y，t+delta）-I（x，y，t））/delta

因此

fd->dI/dt

为

delta->0

在这种情况下，

delta

仅设置为一。因此，我们通过相邻帧之间的差来近似图像导数（相对于时间）

---

一个可能令人困惑的方面是，这与图像中对象的移动有何关系。例如，如果你有一些物理背景，你可能会想到不同之处：在更直观的拉格朗日观点中，你认为物体通过在它移动的像素（空间）上跟踪它而移动，例如当它跳过栅栏时观察猫。欧拉视图更接近于我们在光流中所做的，它跟踪在单个像素上发生的事情，并且永远不会让我们的眼睛离开它。当cat经过该区域（像素）空间时，像素值将发生变化，然后在消失后返回“正常”

这两个视图在某种意义上是等价的，但在不同的情况下可能有用。在计算机视觉中，跟踪一个物体是很困难的，而计算这些类似欧拉的时间导数是很容易的。理想情况下，我们可以跟踪猫：考虑一个点<代码> p（t）=（xpp（t），yyp（t））< /代码>在其头上，然后计算<代码> dp/dt >并找出<>代码> p（t）< /> >所有<代码> t>代码>，并将其用于下游处理。不幸的是，这很困难，因此我们希望亮度恒定性通常是局部真实的，并使用光流来估计

dp/dt

。当然，

dI/dt

通常不能很好地对应于

dp/dt

（这就是为什么亮度恒定性是一个假设）。例如，考虑在静止球周围移动的光：<代码> di/dt < /代码>将是大的，但是<代码> dp/dt >将是零。