Nlp 乔姆斯基层次结构-实际语言示例

Nlp 乔姆斯基层次结构-实际语言示例,nlp,grammar,context-free-grammar,automata,chomsky-hierarchy,Nlp,Grammar,Context Free Grammar,Automata,Chomsky Hierarchy,我试图通过使用一些真实的语言作为模型来理解乔姆斯基层次结构的四个层次。他认为所有自然语言都可以通过上下文无关语法生成,但Schieber反驳了这一理论,即瑞士德语等语言只能通过上下文敏感语法生成。由于乔姆斯基来自美国,我想美国语言就是上下文无关语法的一个例子。我的问题是: 是否有可以由常规语法生成的语言(类型3) 既然递归枚举语法可以生成所有语言,为什么不使用它呢?它们是否过于复杂,线性度较低 瑞士德语的哪些特点使得它不可能通过上下文无关语法生成 我不认为这是一个适合StackOverflow的

我试图通过使用一些真实的语言作为模型来理解乔姆斯基层次结构的四个层次。他认为所有自然语言都可以通过上下文无关语法生成,但Schieber反驳了这一理论,即瑞士德语等语言只能通过上下文敏感语法生成。由于乔姆斯基来自美国,我想美国语言就是上下文无关语法的一个例子。我的问题是:

  • 是否有可以由常规语法生成的语言(类型3)
  • 既然递归枚举语法可以生成所有语言,为什么不使用它呢?它们是否过于复杂,线性度较低
  • 瑞士德语的哪些特点使得它不可能通过上下文无关语法生成

  • 我不认为这是一个适合StackOverflow的问题,它是一个编程问题的网站。但我会尽力解决这个问题

    我不相信乔姆斯基曾经有过这样的印象:自然语言可以用2型语法来描述。名词-动词一致性(单数/复数)在类型2语法中表示并非不可能,因为格的数量是有限的,但语法是笨拙的。但自然语言还有更复杂的特征,通常涉及到关于如何重新排列词序的特定规则,而这些规则无法用简单的语法来描述。乔姆斯基希望第二层次的分析——“转换语法”——能够有效地捕捉这些重排规则,而不会使语法在计算上变得难以处理。这需要找到某种适合类型1和类型2的系统化,因为类型1语法在计算上是不可处理的

    事实上,由于我们确实正确地解析了我们自己的语言,所以有一些计算算法是理所当然的。但这条推理路线实际上可能并不正确,因为我们可以解析的句子的复杂性是有限的。任何有限语言都是正则的(类型3);只有拥有无限数量潜在句子的语言才需要更复杂的语法。因此,大量有限模式的集合足以理解自然语言。这些模式可能比正则表达式复杂得多,但只要每个模式只适用于有限长度的句子,该模式就可以用正则表达式进行数学表达。(最明显的一种方法是将所有可能的句子列为备选句子,如果可能的句子数量有限,这是一个正则表达式。但在许多情况下,这可能会简化为更有用的内容。)

    据我所知,使用所谓的“深度学习”来处理自然语言的现代尝试基本上是基于通过神经网络进行的模式识别,尽管我还没有深入研究这个领域,而且我确信在这个简单的描述中,我跳过了许多复杂的问题

    诺姆·乔姆斯基(Noam Chomsky)是美国人,但“美国人”不是一种语言(y si fuera、podría ser castellano、hablado por la mayoría de los residentes de las Americas)。据我所知,他的第一语言是英语,但他不是,尽管我不知道他说多少瑞士德语。当然,多年来有人批评他的理论带有印欧偏见。当然,尽管我在瑞士生活了几年,但我并不声称自己精通瑞士德语,但我确实阅读了希伯的论文和一些后续文章,并与以瑞士德语为母语的同事进行了讨论。(意见分歧。)

    基本问题与列表中的形态一致性有关。正如我前面提到的,许多语言(据我所知,所有印欧语言)坚持动词的形式与主语的形式一致,因此单数主语需要单数动词,复数主语需要复数动词。[注1]

    在许多语言中,形容词和名词之间也需要一致,这不仅是数量上的一致,而且是语法上的一致(如果适用)。此外,许多语言要求特定动词与动词宾语的冠词或形容词一致。[注2]

    简单的协议可以通过上下文无关(类型2)语法处理,但有一个巨大的限制。简单地说,上下文无关语法只能处理插入式结构。即使有不止一种类型的括号,这也可以起作用,因此上下文无关语法可以坚持一个
    [
    与一个
    ]
    匹配,而不是一个
    。但是语法必须有这种“由内而外”的形式:匹配的符号必须与被匹配的符号顺序相反

    这样做的一个结果是,回文有一种上下文无关的语法——在两个方向上读相同的句子,这实际上意味着它们由一个短语后跟它的反面组成。但是没有上下文无关的重复语法:一种由重复短语组成的语言。在回文中,匹配词的顺序与匹配词的顺序相反;在副本中,它们的顺序相同。因此不同

    自然语言中的一致性大多遵循这种模式,一些例外情况可以通过设定简单的规则对有限数量的短语进行重新排序来处理——乔姆斯基的转换语法。但瑞士-德国的特点是,至少有一种情况下,协议不是附加条款,而是按照相同的顺序。[注3]这涉及到德语的特点,其中许多句子的主语-宾语-动词顺序可以扩展到主语-宾语。。。动词。。。当动词有间接宾语时。Shieber举例说明了宾语动词一致性是有序的