Python Tensorflow:RNN示例,单词嵌入从何而来
这里有一个Tensorflow LSTM示例: 我想知道嵌入这个词是从哪里来的 看,有这样的代码:Python Tensorflow:RNN示例,单词嵌入从何而来,python,tensorflow,Python,Tensorflow,这里有一个Tensorflow LSTM示例: 我想知道嵌入这个词是从哪里来的 看,有这样的代码: with tf.device("/cpu:0"): embedding = tf.get_variable( "embedding", [vocab_size, size], dtype=data_type()) inputs = tf.nn.embedding_lookup(embedding, input_.input_data) 我知道嵌入变量应该包含什么
with tf.device("/cpu:0"):
embedding = tf.get_variable(
"embedding", [vocab_size, size], dtype=data_type())
inputs = tf.nn.embedding_lookup(embedding, input_.input_data)
我知道嵌入
变量应该包含什么内容(如本例所述:。但要完成工作必须有一些技巧(训练嵌入模型等)
我在项目代码中没有看到类似的内容。我也找不到任何可以生成简单的热编码向量的内容。它只是用整数ID替换单词,然后在读取器代码()中重塑数据
我遗漏了什么?如果这是显而易见的事情,我真的很抱歉。我不完全确定,但这就是我所理解的: 我认为嵌入一个可训练的张量。tf.get_variable()使用这些参数获取一个现有变量,如果不存在,则创建一个新变量 如果初始值设定项为None,则将使用glorot_uniform_初始值设定项
基于vocab大小,我们初始化大嵌入矩阵,让它为我们的词汇表找到最佳嵌入值。反向传播完成查找梯度和更新梯度的工作。