Tensorflow 批量标准化和小批量

我不完全熟悉批处理规范化层，。据我所知，它将在训练时使用小批量统计数据计算规范化

在小批量大小非常小的情况下（例如，小批量大小每次迭代使用2或4个图像），您是否有使用这些层的经验？有什么理由使它不能有效地工作吗

---

我的感觉是，统计数据是在训练时在一个非常小的样本上计算的，可能会对训练产生负面影响，你认为呢？

你的直觉是正确的，样本可能与总体不同（小批量与所有样本），但这一问题在批量标准化论文中得到了解决。具体地说，在训练时间内，您可以通过除以批次大小（N）来找到样本的方差，但在测试时间内，您可以使用无偏方差估计（乘以N/（N-1））： 请在此查看更详细、更容易理解的解释：

---

嘿，谢谢你的回答，但我的问题与培训/测试批量大小差异无关。我的问题仅仅是关于算法的训练。当训练的批量较小时，batchnormalization会发生什么情况？它仍然有效吗？是的，它有效，因为在测试时，您使用方差的期望值，以及无偏方差估计值（小批量）不会改变数据的期望方差。