Tensorflow seq2seq中特殊词的手套词嵌入

我正在Tensorflow中培训一个

seq2seq模型。我想使用
手套
作为序列中单词的单词嵌入。在
seq2seq
中，我使用了一些标签，如
EOS（序列结束）
，
GO（解码器序列开始）
，
PAD（填充序列）
，作为我序列中的单词

但是
globe
不会嵌入这些标记。
那么，我应该如何表示这些标记呢
 澄清一下：你的意思是你想使用预先训练好的嵌入？您可以尝试添加三个新索引，分别对应于
EOS
、
GO
、
PAD
。这些基本上是特征检测器，每当这些符号出现时都会打开。因此，新嵌入的维度将是
（E:=原始嵌入的维度）+3
，第一个
E
索引由原始嵌入给出，最后三个保留用于特殊符号。是的，我想使用预训练的嵌入。新的指数应该是1，当这个标签，对于前EOS，存在时，对吗？那么对于
EOS
所有指数都将为零，除了与之对应的指数？还有其他人们通常使用的方法吗？如果我打算这样做，那将是我的第一次尝试。编写一个函数来创建一个形状张量
[batch，（…），3]
作为特殊符号的一个热编码，然后将其与嵌入的输出连接起来并不困难（除了最后一个维度外，所有维度都应该相同）。你失去的是你的特殊符号和你的“真实单词”之间的任何语义联系，但我认为这不是一个大问题，因为与
king
和
queen
之间的语义关系相比，例如
EOS
和
car
之间没有语义关系。是的，这个想法是这样的“稀疏”，即
EOS
的索引/位将打开（
=1
），当且仅当观察到
EOS
时，没有其他“位”打开。这与观察到实词时给出的表示不同，实词将在嵌入空间中表示为“密集”向量（特殊符号的位除外，当观察到一个真实的单词时，它将为0）。这通常使您的模型能够轻松地学习以不同的方式处理特殊符号。（例如，如果您正在设计翻译模型，它会快速学习
EOS
）。