Neural network 在TensorFlow中实施对抗性训练

我想为我的神经网络实现以下成本函数：

这使得神经网络使用对抗性输入来提高泛化能力

具体地说，我在这方面遇到了麻烦 部分 在我的TensorFlow图中，我定义为一个操作。我怎么能用一个论点而不是一个论点

到目前为止，我找到的唯一方法是定义一个与原始网络共享权重的并行网络，并将其传递到其

feed\u dict

参数中。如果可能，我希望避免重新定义我的整个网络。我该怎么做

---

我的TensorFlow模型写为：

x = tf.placeholder(tf.float32, [None, 32, 32]);
... # A simple neural network
y = tf.add(tf.matmul(h, W1), b1);
cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(y, t));

---

可能相关：

tf.停止梯度（输入，名称=无） 停止梯度计算

…更多的东西

• 对抗性训练，在对抗性示例生成过程中不应出现任何后盾

---

您需要以这样一种方式编写模型，它支持以下调用

output = model.fprop(input_tensor)

或

fprop方法构建相同的正向传播表达式两次，但每次调用的输入张量不同：

raw_output = model.fprop(clean_examples)
adv_examples = ...
adv_output = model.fprop(adv_examples)

---

如果您想将此应用于我们的一个开源模型，但它不支持执行此操作的接口，请在github上提交一个问题。

您是如何编写模型代码的？在给定张量的情况下，您是否有一个模型类的方法来构建fprop图？或者您使用的是与TensorFlow一起发布的一些现有代码？更新了原始问题以反映模型的定义。@Shadowen，我也需要这样做，您可以共享您的代码吗？因此，经过一点阅读，我发现在中，模型生成器被提取到一个函数中，基本上允许多次构建模型（几乎完全相同）。这就是你的意思吗？是的，创建一个函数（或模型类的方法），在给定输入张量的情况下构建fprop图。然后在占位符或任何适当的张量上调用该函数。好的，这确实需要构建“两个网络”在TensorFlow计算图上。我假设这是必要的，因为对于每个通过计算图的过程，每个张量可能只有一个值（以便TensorFlow可以执行反向传播等）？

raw_output = model.fprop(clean_examples)
adv_examples = ...
adv_output = model.fprop(adv_examples)