Python 嵌入中的每个元素意味着什么?

Python 嵌入中的每个元素意味着什么?,python,word2vec,feature-extraction,embedding,word-embedding,Python,Word2vec,Feature Extraction,Embedding,Word Embedding,我一直在研究面部嵌入,但我认为Word2Vec是一个更常见的例子 该矩阵中的每个条目都是来自某个预测程序/算法的数字,但它们是什么?它们是学习的特征吗?这些数字是学习的向量,每个数字都代表一个维度,在给定一些有限的维度数量(通常为200)的情况下,每个单词之间的距离最好。因此,如果一组词倾向于出现在相同的上下文中,那么它们可能在一个或多个维度上具有相似的分数 例如,像North、South、East和West这样的词可能非常接近,因为它们在许多上下文中都可以互换 维度是通过算法选择的,以最大化它

我一直在研究面部嵌入,但我认为Word2Vec是一个更常见的例子


该矩阵中的每个条目都是来自某个预测程序/算法的数字,但它们是什么?它们是学习的特征吗?

这些数字是学习的向量,每个数字都代表一个维度,在给定一些有限的维度数量(通常为200)的情况下,每个单词之间的距离最好。因此,如果一组词倾向于出现在相同的上下文中,那么它们可能在一个或多个维度上具有相似的分数

例如,像North、South、East和West这样的词可能非常接近,因为它们在许多上下文中都可以互换

维度是通过算法选择的,以最大化它们编码的方差,它们的含义不一定是我们可以用语言谈论的。但是,想象一下一袋冰箱磁铁,每一块都代表字母表中的一个字母——如果你用灯光照射它们以投射阴影,那么阴影中的字母会有一些方向,这些方向会产生比其他方向更具歧视性的信息

单词嵌入中的维度表示最佳“方向”,为最具歧视性的“阴影”提供光线。有时,这些维度可能近似于我们认为具有直接意义的事物,但通常不会

这就是说,如果你收集具有类似功能的单词,并找到这些单词到其他单词的向量,这些单词是某种固定关系的端点,比如英国、法国、德国,作为一组由国家组成的单词,以及伦敦、巴黎,柏林作为由各自首都组成的另一组词汇,你会发现每个国家与其首都之间的相对向量在方向和大小上都非常非常相似

这是一个搜索应用程序,因为您可以从一个新词location开始,比如“阿根廷”,通过应用相对的“has_capital_city”向量查找到达的位置,您应该可以找到单词“布宜诺斯艾利斯”


因此,原始维度本身可能没有什么意义,但是通过执行这些A is to B as X is to Y的比较,可以导出具有排序意义的相对向量

这些数字是学习向量,每一个都代表一个维度,在给定一些有限的维度数(通常为200)的情况下,每个维度可以最好地将每个单词彼此分开。因此,如果一组词倾向于出现在相同的上下文中,那么它们可能在一个或多个维度上具有相似的分数

例如,像North、South、East和West这样的词可能非常接近,因为它们在许多上下文中都可以互换

维度是通过算法选择的,以最大化它们编码的方差,它们的含义不一定是我们可以用语言谈论的。但是,想象一下一袋冰箱磁铁,每一块都代表字母表中的一个字母——如果你用灯光照射它们以投射阴影,那么阴影中的字母会有一些方向,这些方向会产生比其他方向更具歧视性的信息

单词嵌入中的维度表示最佳“方向”,为最具歧视性的“阴影”提供光线。有时,这些维度可能近似于我们认为具有直接意义的事物,但通常不会

这就是说,如果你收集具有类似功能的单词,并找到这些单词到其他单词的向量,这些单词是某种固定关系的端点,比如英国、法国、德国,作为一组由国家组成的单词,以及伦敦、巴黎,柏林作为由各自首都组成的另一组词汇,你会发现每个国家与其首都之间的相对向量在方向和大小上都非常非常相似

这是一个搜索应用程序,因为您可以从一个新词location开始,比如“阿根廷”,通过应用相对的“has_capital_city”向量查找到达的位置,您应该可以找到单词“布宜诺斯艾利斯”


因此,原始维度本身可能没有什么意义,但是通过执行这些A is to B as X is to Y的比较,可以导出具有排序意义的相对向量

我喜欢你用如此精彩的例子来解释它!谢谢你,我希望其他人也能读到这篇文章。然而,当你提到A到B位时,你是指使用某种形式的降维,如t-SNE或PCA吗?我喜欢你用如此精彩的例子来解释它!谢谢你,我希望其他人也能读到这篇文章。然而,当你提到A到B位时,你是指使用某种形式的降维,比如t-SNE或PCA吗?