Artificial intelligence 是Numenta'定义的HTM皮层学习算法;受欧几里得几何约束的s论文?

Artificial intelligence 是Numenta'定义的HTM皮层学习算法;受欧几里得几何约束的s论文?,artificial-intelligence,nupic,hierarchical-temporal-memory,Artificial Intelligence,Nupic,Hierarchical Temporal Memory,具体来说,它们的最新实施 本质上,我想问的是,在当前状态下,算法是否可以有效地推断出非欧几里德关系,或者超过输入维度的模式中的关系 HTM在分析模式时使用欧几里德几何确定“邻域关系”。一致的框架输入导致算法表现出预测行为,并且序列长度实际上是无限的。这个算法学习效果很好,但我想知道它是否有能力从输入数据中推断出非线性属性 例如,如果你输入了古腾堡项目的全部文本,它将获得一组概率规则,这些规则包括英语拼写、语法和主题中显而易见的特征,例如与单词的性别关联,等等。这些是一级“线性”关系,可以很容易

具体来说,它们的最新实施

本质上,我想问的是,在当前状态下,算法是否可以有效地推断出非欧几里德关系,或者超过输入维度的模式中的关系

HTM在分析模式时使用欧几里德几何确定“邻域关系”。一致的框架输入导致算法表现出预测行为,并且序列长度实际上是无限的。这个算法学习效果很好,但我想知道它是否有能力从输入数据中推断出非线性属性

例如,如果你输入了古腾堡项目的全部文本,它将获得一组概率规则,这些规则包括英语拼写、语法和主题中显而易见的特征,例如与单词的性别关联,等等。这些是一级“线性”关系,可以很容易地用逻辑网络中的概率来定义

非线性关系是假设和含义的关联,例如“时间像箭一样飞逝,果蝇像香蕉一样飞逝”。如果框架正确,句子的歧义会导致对句子的预测性解释产生许多可能的含义

如果该算法能够“理解”非线性关系,那么它将能够处理第一个短语,并正确识别“时光飞逝”是指时间在做什么,而“果蝇”是一种错误

这个问题的答案可能很简单,但我无法决定哪种方式。将输入映射到统一的二维欧氏平面是否排除了数据非线性属性的关联


如果它不能阻止非线性关联,那么我的假设是,你可以简单地改变分辨率、重复和其他输入属性,以自动发现非线性关系——实际上,在算法中添加了一个“更难思考”的过程。

根据我对HTM的理解,层和柱的结构模仿了新皮质的结构。见附录B:

所以简单的答案是,既然大脑可以理解这种结构的非线性现象,HTM也可以

初始瞬时感觉输入确实映射到HTM中的2D区域。这并不限制HTM处理2D表示,正如一维位串仅限于表示一维事物一样。这只是一种编码方式,这样就可以形成稀疏的分布式表示,并利用它们的效率


为了回答你关于古腾堡计划的问题,我认为如果HTM不首先了解语言所基于的物理世界并为语言创建符号,它就不会真正理解语言。也就是说,对于HTM来说,这是一个非常有趣的序列,因为预测只在一个方向上进行,在某种程度上,对水果发生了什么的理解是倒退的。i、 我看到了“像苍蝇一样飞”的模式,并假设这个短语适用于水果,就像它适用于时间一样。HTM的do将后续输入(本例中的单词)在更高的层次上进行分组,因此,如果使用Davide Maltoni证明有效的模糊分组(也许),则句子的两半可以分组到同一个高层次表示中,反馈可以向下发送,链接两个特定的句子。据我所知,Numenta在反馈信息方面还做得不多,但这肯定是理论的一部分。

是的,它可以实现非线性。基本上是多层的。所有的多层神经网络都可以推断非线性关系。我认为邻里关系是本地计算的。如果它是局部计算的,那么在全局范围内它可以是分段非线性的,例如看局部线性嵌入。

是的HTM使用欧几里德几何连接突触,但这仅仅是因为它模仿了一个生物系统,该系统发出树突,并与附近的其他细胞建立连接,而这些细胞在当时具有强烈的激活能力

大脑皮层学习算法(CLA)非常擅长预测序列,因此它可以很好地确定“时间过得像箭,果蝇过得像香蕉”,并预测“香蕉”,如果它以前遇到过这个序列或与之相近的序列。我不认为果蝇是一种昆虫,除非你按照这个顺序训练它。因此,T表示时间。HTM是序列关联压缩器和检索器(内存的一种形式)。要从HTM中获取模式,请按顺序播放,它将匹配到目前为止遇到的最强表示,并预测序列的下一位。它似乎在这方面做得非常好,目前HTM的主要应用是预测数据流中的序列和异常


为了获得更复杂的表示和更多的抽象,您可以将一个经过训练的HTMs输出与另一个HTMs输入以及其他一些新的基于序列的输入级联起来,以与之关联。我想你可以输入一些反馈并做一些其他的技巧来组合多个HTM,但是你需要先进行大量的原语训练,就像婴儿一样,在你得到像根据书面单词的语法关联概念这样复杂的东西之前。

好了,伙计们,别傻了,HTM只是把数据复制到它们里面,若你们想要一个概念,它将是一组数据,然后你们可以让它依赖于这个关系,然后它就可以工作了

我们的大脑皮层可能要好得多,而且实际上会产生新的图像,但计算机大脑皮层不会,但事实上,它并不重要,而且已经非常有用了

但是,从数据池中提取概念是很棘手的,也是最简单的