如何在不使用拆分的情况下从c#中的文本文件中断开运算符、标识符、字符串等

我正在使用c#为编译器构造课程制作一个词法分析器。 我正在从记事本文件中获取输入。 请告诉我如何从该文本文件中断开数据类型、运算符、标识符等，并将这些断开的单词保存在数组或列表中。 然后，我将通过标识符、数据类型等的Dfa验证这些单词，然后我将生成令牌

这是我的foreach循环，我想在其中传递数组或列表中的单词

//x will be string of datatypes,keyword,identifiers etc of my language.
//richTextBox1.Lines will be replaced by that array or list which I will create.
foreach (string x in richTextBox1.Lines)
{
    //code for validating
}

---

您试图做的是从一组文本构造一个表达式树。我不能给你一个完整的答案（因为你的问题是关于一种技术，而不是一个技术问题），但是如果你在.net中浏览这个关于表达式树的链接，然后在.net中研究其他表达式树构建库（有一个内置的C#解析器，一个Microsoft t-SQL解析器）那么这将给你一个很好的起点