Python Tensorflow:RNN示例,单词嵌入从何而来

Python Tensorflow:RNN示例,单词嵌入从何而来,python,tensorflow,Python,Tensorflow,这里有一个Tensorflow LSTM示例: 我想知道嵌入这个词是从哪里来的 看,有这样的代码: with tf.device("/cpu:0"): embedding = tf.get_variable( "embedding", [vocab_size, size], dtype=data_type()) inputs = tf.nn.embedding_lookup(embedding, input_.input_data) 我知道嵌入变量应该包含什么

这里有一个Tensorflow LSTM示例:

我想知道嵌入这个词是从哪里来的

看,有这样的代码:

with tf.device("/cpu:0"):
    embedding = tf.get_variable(
        "embedding", [vocab_size, size], dtype=data_type())
    inputs = tf.nn.embedding_lookup(embedding, input_.input_data)
我知道
嵌入
变量应该包含什么内容(如本例所述:。但要完成工作必须有一些技巧(训练嵌入模型等)

我在项目代码中没有看到类似的内容。我也找不到任何可以生成简单的热编码向量的内容。它只是用整数ID替换单词,然后在读取器代码()中重塑数据


我遗漏了什么?如果这是显而易见的事情,我真的很抱歉。

我不完全确定,但这就是我所理解的:

我认为嵌入一个可训练的张量。tf.get_variable()使用这些参数获取一个现有变量,如果不存在,则创建一个新变量

如果初始值设定项为None,则将使用glorot_uniform_初始值设定项


基于vocab大小,我们初始化大嵌入矩阵,让它为我们的词汇表找到最佳嵌入值。

反向传播完成查找梯度和更新梯度的工作。