Oop 一个句子由什么组成？怎么命名？

我正在设计一个文本解析器的体系结构。例句：

此处内容，此处内容。

整个句子是一个。。。这句话很明显<代码>的，

快速

等都是文字

、

和

是标点符号。但一般来说，单词和标点符号是什么？它们只是象征吗？我只是不知道如何用最合理的抽象方式来命名一个句子所包含的内容（因为一个人可能写的是字母/元音等）

---

感谢您的帮助：）

一个由两个子类别“单词”和“标点符号”组成的通用术语是“代币”。一个由两个子类别“单词”和“标点符号”组成的通用术语是“代币”，在谈论句法分析时经常使用.

根据您所查看的输入文本的哪个阶段，这些可能是“词素”或“标记”。

根据您所查看的输入文本的哪个阶段，这些可能是“词素”或“标记”。

您所做的是技术上的词法分析（“词法分析”），它接受一系列输入符号并生成一系列标记或词素。所以单词、标点符号和空格都是代词

在（E）BNF术语中，词素或标记与“终端符号”同义。如果将解析规则集看作一棵树，那么终端符号就是树的叶子

那么你输入的原子是什么？它是一个单词还是一个句子？如果是单词（和空格），那么一个句子更类似于解析规则。事实上，“句子”一词本身可能具有误导性。将整个输入序列称为一个句子并不少见

---

非空白字符序列的一个半通用术语是“textrun”。

您所做的是技术上的词法分析（“lexing”），它接受一系列输入符号并生成一系列标记或词素。所以单词、标点符号和空格都是代词

在（E）BNF术语中，词素或标记与“终端符号”同义。如果将解析规则集看作一棵树，那么终端符号就是树的叶子

那么你输入的原子是什么？它是一个单词还是一个句子？如果是单词（和空格），那么一个句子更类似于解析规则。事实上，“句子”一词本身可能具有误导性。将整个输入序列称为一个句子并不少见

---

对于一系列非空白字符，一个半通用的术语是“textrun”。

我认为，句子也是这样一种标记。我不想提及解析术语，但要提及现实生活中的术语：）句子从来都不是标记，它是由标记组成的。解析器将句子的标记组合成解析树。如果你想要一个现实生活中的术语（假设你指的是非技术性的），它会有点粗糙，因为人们不觉得有必要将单词和标点符号组合成一个单数术语来代表这两个词的一个实例。我认为句子也是这种方式的一种象征。我不想提及解析术语，但要提及现实生活中的术语：）句子从来都不是标记，它是由标记组成的。解析器将句子的标记组合成解析树。如果你想要一个现实生活中的术语（假设你指的是非技术性的），它会有点粗糙，因为人们不觉得有必要将单词和标点符号组合成一个单数术语来表示这两个术语中的任何一个。一般来说，输入将是任何文本。它可能由许多句子组成，只有一个或几个单词。然后对他们进行分析，得出最终的句子，并进行进一步的分析。但是一个原子。。。这不是文字，因为还有其他符号。我想知道如何称呼他们为设计的简单性。谢谢你的帮助。一般来说，输入将是任何文本。它可能由许多句子组成，只有一个或几个单词。然后对他们进行分析，得出最终的句子，并进行进一步的分析。但是一个原子。。。这不是文字，因为还有其他符号。我想知道如何称呼他们为设计的简单性。谢谢你的帮助。