Machine learning 我的代码在tensorflow中使用批处理规范化层是否正确？_Machine Learning_Tensorflow_Deep Learning_Batch Normalization

Machine learning 我的代码在tensorflow中使用批处理规范化层是否正确？

machine-learning tensorflow deep-learning

Machine learning 我的代码在tensorflow中使用批处理规范化层是否正确？,machine-learning,tensorflow,deep-learning,batch-normalization,Machine Learning,Tensorflow,Deep Learning,Batch Normalization,我有两个相同形状的输入：qi_pos&qi_neg。它们应该由两个mlp层进行处理，最后得到两个结果作为分数。这是我的密码： self.mlp1_pos = nn_layers.full_connect_(qi_pos, 256, activation='relu', use_bn = None, keep_prob=self.keep_prob, name = 'deep_mlp_1') self.mlp2_pos = nn_layers.full_co

我有两个相同形状的输入：

qi_pos&qi_neg

。它们应该由两个mlp层进行处理，最后得到两个结果作为分数。这是我的密码：

  self.mlp1_pos  =    nn_layers.full_connect_(qi_pos,        256, activation='relu', use_bn = None, keep_prob=self.keep_prob,  name = 'deep_mlp_1')
  self.mlp2_pos  =    nn_layers.full_connect_(self.mlp1_pos, 128,  activation='relu', use_bn = True, keep_prob=self.keep_prob,  name = 'deep_mlp_2')
  self.pos_pair_sim = nn_layers.full_connect_(self.mlp2_pos,  1,  activation=None, use_bn = True, keep_prob=self.keep_prob,  name = 'deep_mlp_3')
  tf.get_variable_scope().reuse_variables()
  self.mlp1_neg  =    nn_layers.full_connect_(qi_neg,        256, activation='relu', use_bn = None, keep_prob=self.keep_prob,  name = 'deep_mlp_1')
  self.mlp2_neg  =    nn_layers.full_connect_(self.mlp1_neg, 128,  activation='relu', use_bn = True, keep_prob=self.keep_prob,  name = 'deep_mlp_2')
  self.neg_pair_sim = nn_layers.full_connect_(self.mlp2_neg,  1,  activation=None, use_bn = True, keep_prob=self.keep_prob,  name = 'deep_mlp_3')

我使用BN层规范化隐藏层中的节点：

def full_connect_(inputs, num_units, activation=None, use_bn = None, keep_prob = 1.0, name='full_connect_'):
  with tf.variable_scope(name):
    shape = [inputs.get_shape()[-1], num_units]
    weight = weight_variable(shape)
    bias = bias_variable(shape[-1])
    outputs_ = tf.matmul(inputs, weight) + bias
    if use_bn:
        outputs_ = tf.contrib.layers.batch_norm(outputs_, center=True, scale=True, is_training=True,decay=0.9,epsilon=1e-5, scope='bn')
    if activation=="relu":
      outputs = tf.nn.relu(outputs_)
    elif activation == "tanh":
      outputs = tf.tanh(outputs_)
    elif activation == "sigmoid":
      outputs = tf.nn.sigmoid(outputs_)
    else:
      outputs = outputs_
    return  outputs

   with tf.name_scope('predictions'):
      self.sim_diff = self.pos_pair_sim - self.neg_pair_sim # shape = (batch_size, 1)
      self.preds = tf.sigmoid(self.sim_diff) # shape = (batch_size, 1)
      self.infers = self.pos_pair_sim

下面是损失的定义，似乎没问题

with tf.name_scope('predictions'):
  sim_diff = pos_pair_sim - neg_pair_sim
  predictions = tf.sigmoid(sim_diff)
  self.infers = pos_pair_sim
## loss and optim
with tf.name_scope('loss'):
  self.loss = nn_layers.cross_entropy_loss_with_reg(self.labels, self.preds)
  tf.summary.scalar('loss', self.loss)

我不确定我是否以正确的方式使用了BN层。我的意思是，BN参数来自两个独立部分的隐藏单元，这两个部分基于

qi_pos

和

qi_neg

张量作为输入。无论如何，任何人都可以帮我检查一下吗？

我觉得你的代码很好，在网络的不同分支中应用BN没有问题。但我想在这里提几点注意事项：

BN超参数是相当标准的，所以我通常不会手动设置
```
衰减
```
，
```
ε
```
和
```
雷诺衰减
```
。这并不意味着你不能改变它们，在大多数情况下这根本没有必要
您在激活函数之前应用BN，但是，有证据表明，如果在激活之后应用BN，效果会更好。例如，请参见。再次，这并不意味着它是一个bug，只是一个需要考虑的架构。

BN超参数是相当标准的，所以我通常不会手动设置
```
衰减
```
，
```
ε
```
和
```
雷诺衰减
```
。这并不意味着你不能改变它们，在大多数情况下这根本没有必要
您在激活函数之前应用BN，但是，有证据表明，如果在激活之后应用BN，效果会更好。例如，请参见。再次，这并不意味着它是一个bug，只是一个需要考虑的架构。