Keras层不太致密

Keras层不太致密,keras,embedding,Keras,Embedding,前一层是嵌入大小(V clases,K-outputdim)-我想引入一个权重矩阵大小K x T。权重是可训练的(嵌入也是如此)。它们生成一个VxT矩阵,将在下游使用。 1) 我该怎么办? 2) 这会影响梯度吗 基本上是向量x矩阵。 示例-嵌入vocab=10,dim K=4。对于词汇表中的某个特定成员,我的嵌入权重是一个向量大小(1,4)(想想行向量) 对于每一行向量,我想乘以一个4×10的权重矩阵,得到一个1×10的向量(或层)。权重矩阵对于词汇表的所有成员都是通用的 该1 x 10矢量将输

前一层是嵌入大小(V clases,K-outputdim)-我想引入一个权重矩阵大小K x T。权重是可训练的(嵌入也是如此)。它们生成一个VxT矩阵,将在下游使用。 1) 我该怎么办? 2) 这会影响梯度吗

基本上是向量x矩阵。 示例-嵌入vocab=10,dim K=4。对于词汇表中的某个特定成员,我的嵌入权重是一个向量大小(1,4)(想想行向量)

对于每一行向量,我想乘以一个4×10的权重矩阵,得到一个1×10的向量(或层)。权重矩阵对于词汇表的所有成员都是通用的


该1 x 10矢量将输入下一层

你想要的是一个致密的层,没有偏见。密集层内部有一个对所有输入通用的矩阵,它不随输入而变化

因此,这可以实现为:

x = Dense(10, use_bias=False)(some_input_tensor)

不需要激活函数,因为您只需要矩阵乘法。

我看不出密集层(无偏差)有什么区别,您必须非常清楚您想要做什么,以及(编程)问题是什么。以上的进一步说明,我明白您的意思!谢谢请把它作为答案贴出来。现在我看到密集权重对于所有输入都是通用的。