Tensorflow 批量标准化中可学习的参数是什么?

Tensorflow 批量标准化中可学习的参数是什么?,tensorflow,deep-learning,Tensorflow,Deep Learning,有四个变量存在疑问:伽马、贝塔、平均移动平均值、方差移动平均值 是否有必要快照移动平均线,并在测试时加载它们 一个更好的问题: 对于tensorflow中的批次标准化,我是否需要将批次平均值和批次var从训练时间转移到测试时间?如果是这样,我如何在tensorflow中实现这一点?是-对于任何批次标准化的使用,您都可以通过基于单个批次的统计数据进行标准化来进行训练,但随后您可以使用统计数据的长期平均值来进行推断 您应该保存一份均值和方差保持变量的副本,并在进行测试时将其恢复 不需要任何魔法:它们

有四个变量存在疑问:伽马、贝塔、平均移动平均值、方差移动平均值

是否有必要快照移动平均线,并在测试时加载它们

一个更好的问题:


对于tensorflow中的批次标准化,我是否需要将批次平均值和批次var从训练时间转移到测试时间?如果是这样,我如何在tensorflow中实现这一点?

是-对于任何批次标准化的使用,您都可以通过基于单个批次的统计数据进行标准化来进行训练,但随后您可以使用统计数据的长期平均值来进行推断

您应该保存一份均值和方差保持变量的副本,并在进行测试时将其恢复

不需要任何魔法:它们只是变量,当您创建时将被保存和恢复


在您引用的具体实现中,有一个具体示例,说明如何分别保存和恢复移动平均值以用于训练和推断。

是-对于批次标准化的任何使用,您都可以通过基于单个批次的统计数据进行标准化来训练,但是你可以使用统计数据的长期平均值来进行推断

您应该保存一份均值和方差保持变量的副本,并在进行测试时将其恢复

不需要任何魔法:它们只是变量,当您创建时将被保存和恢复


在您参考的具体实现中,有一个具体的示例,分别说明如何保存和恢复移动平均值以用于训练和推断。

谢谢您的回答。它澄清了很多。谢谢你的回答。它澄清了很多。