Machine learning 有没有办法提高预先训练好的单词嵌入的维度？

我几乎是新接触到NLP研究，与NLP和NLP中使用的机器学习技术进行斗争

我现在要讨论的问题是，是否有某种方法可以将预先训练好的单词嵌入（如手套嵌入）的维数从固定大小的100增加到512

我问这个问题的原因是，我使用这些嵌入来训练RNN网络，其预定义维度为100。现在，我切换到自我注意机制（Transformers），模型对训练参数高度敏感。所以，我想知道我是否可以（例如，使用感知器，或者MLP）将100d嵌入转换为512d的新空间

---

在询问之前，我在谷歌上搜索了一下，但最终没有找到可靠的来源。

我知道您想要将

100d

嵌入到一个接受维度

512

输入的网络。为此，需要将嵌入向量向上投影到更高的维度。您可以使用一个简单的前馈/线性层，接收大小为100的输入。将图层的隐藏大小设置为所需大小，在本例中为512。另外，请注意，这应该是正在培训的整个网络的一部分，即，前馈层应该是可培训的。

我想你的意思是没有再培训？是的，没有再培训。由于数据是医疗数据，并且出于隐私原因，我无法访问这些数据@太奇怪了！想知道是谁投票关闭了这个帖子…谢谢你@稻草人。事实上，我正在考虑与你指出的类似的方法，但如果这是正确的解决方案，我需要咨询专家。