Keras KERA将平行层的输出与受约束的重量相乘

我有3个平行MLP，希望在Keras中获得以下信息：

Out = W1 * Out_MLP1 + W2 * Out_MLP2 + W3 * Out_MLP3

其中Out_MLP是每个MLP的输出层，尺寸为10，W1、W2和W3是三个可训练重量浮动，它们满足以下条件：

W1 + W2 + W3 = 1

---

使用Keras functional API实现这一点的最佳方法是什么？如果我们有N个平行层呢？

您需要的是在一组可学习权重上应用softmax，以便使它们的总和为1

我们在自定义层中初始化可学习的权重。该层接收MLP的输出，并按照我们的逻辑W1*Out_MLP1+W2*Out_MLP2+W3*Out_MLP3组合它们。输出将是形状为10的张量

class W_ADD(Layer):

    def __init__(self, n_output):
        super(W_ADD, self).__init__()
        self.W = tf.Variable(initial_value=tf.random.uniform(shape=[1,1,n_output], minval=0, maxval=1),
            trainable=True) # (1,1,n_inputs)

    def call(self, inputs):

        # inputs is a list of tensor of shape [(n_batch, n_feat), ..., (n_batch, n_feat)]
        # expand last dim of each input passed [(n_batch, n_feat, 1), ..., (n_batch, n_feat, 1)]
        inputs = [tf.expand_dims(i, -1) for i in inputs]
        inputs = Concatenate(axis=-1)(inputs) # (n_batch, n_feat, n_inputs)
        weights = tf.nn.softmax(self.W, axis=-1) # (1,1,n_inputs)
        # weights sum up to one on last dim

        return tf.reduce_sum(weights*inputs, axis=-1) # (n_batch, n_feat)

在这个虚拟示例中，我创建了一个具有3个并行MLP的网络

inp1 = Input((100))
inp2 = Input((100))
inp3 = Input((100))
x1 = Dense(32, activation='relu')(inp1)
x2 = Dense(32, activation='relu')(inp2)
x3 = Dense(32, activation='relu')(inp3)
x1 = Dense(10, activation='linear')(x1)
x2 = Dense(10, activation='linear')(x2)
x3 = Dense(10, activation='linear')(x3)
mlp_outputs = [x1,x2,x3]
out = W_ADD(n_output=len(mlp_outputs))(mlp_outputs)

m = Model([inp1,inp2,inp3], out)
m.compile('adam','mse')

X1 = np.random.uniform(0,1, (1000,100))
X2 = np.random.uniform(0,1, (1000,100))
X3 = np.random.uniform(0,1, (1000,100))
y = np.random.uniform(0,1, (1000,10))

m.fit([X1,X2,X3], y, epochs=10)

---

如您所见，这在N个平行层的情况下很容易推广

softmax是您拥有的更好、更干净的解决方案。不，输出约束不是问题。。。考虑每个多类NN以及与结果相关的相对不确定性程度。您还可以通过自己的tf.nn.softmax[0.3,0.9,0.8]，axis=-1来测试它。让我知道谢谢，我剩下的问题是：是否有可能避免串联？您可以播放和调整提供的代码。我使用连接，因为它可以轻松地管理维度。我认为使用它没有任何问题。。。别忘了接受它作为答案-我有TF2.2和TF.keras我没有问题。。。伟大的按照我们的示例，这些是原始权重m.get_权重[-1]。为了使它们在[0-1]范围内，就像在层计算中一样，softmax执行tf.nn.softmaxm.get_权重[-1]