Machine learning 如何使用AI/ML/NLP提取句子中单词之间的关系

Machine learning 如何使用AI/ML/NLP提取句子中单词之间的关系,machine-learning,neural-network,nlp,artificial-intelligence,Machine Learning,Neural Network,Nlp,Artificial Intelligence,让我们举一个例子: 我在看《坏天气》 他在看行尸走肉 Deadpool正在被我监视 在这三个句子中,我想分别提取被观看的内容(坏了、行尸走肉、死水)。我应该使用什么方法来实现这一点?您应该首先使用的NLP技术称为“依赖项解析”。关于这个主题有很多教程。Spacy就是这样一个python库,它可以为您进行依赖项解析。下面是使用Spacy进行依赖项解析的演示- 另一种考虑的方法是“关系抽取”,特别是从句子中提取SVO(主语、动词、宾语)关系。 < P>你应该开始的NLP技术叫做“依存句法分析”。关于

让我们举一个例子:

  • 我在看《坏天气》
  • 他在看行尸走肉
  • Deadpool正在被我监视

  • 在这三个句子中,我想分别提取被观看的内容(坏了、行尸走肉、死水)。我应该使用什么方法来实现这一点?

    您应该首先使用的NLP技术称为“依赖项解析”。关于这个主题有很多教程。Spacy就是这样一个python库,它可以为您进行依赖项解析。下面是使用Spacy进行依赖项解析的演示-


    另一种考虑的方法是“关系抽取”,特别是从句子中提取SVO(主语、动词、宾语)关系。

    < P>你应该开始的NLP技术叫做“依存句法分析”。关于这个主题有很多教程。Spacy就是这样一个python库,它可以为您进行依赖项解析。下面是使用Spacy进行依赖项解析的演示-

    另一种考虑的方法是“关系抽取”,特别是从句子中提取SVO(主语、动词、宾语)。

    < P>这叫做“命名实体识别”。 有spacy、nltk(都是python)等库,有很多公司和服务(几乎每个聊天机器人平台都需要这种功能,包括dialogflow、ibm watson等),还有很多使用神经网络等的实现

    有3种基本方法:

    最新技术:

  • 在标记文本的地方使用带有标记数据的大数据集,并为此任务训练分类算法/神经网络,如BILSTM或BERT。这也可以识别未知的电影标题,因为它们在句子中的位置和句子中的其他单词

  • 训练所有单词/实体(LDA、单词嵌入等)的无监督或监督表示,识别电影的集群(可能不同类型的电影在不同的集群中…),并使用knn或类似方法标记输入句子的部分

  • 老派:

  • 使用已知电影标题的数据集,查看电影标题是否是句子的子字符串(可以使用Jaro Winkler或Levenshtein等字符串相似性算法,使分类能够处理细微差异和打字错误)。这种方法只能识别已知的电影标题(几乎每部电影的标题都可以在IMDB上找到)
  • 这称为“命名实体识别”。 有spacy、nltk(都是python)等库,有很多公司和服务(几乎每个聊天机器人平台都需要这种功能,包括dialogflow、ibm watson等),还有很多使用神经网络等的实现

    有3种基本方法:

    最新技术:

  • 在标记文本的地方使用带有标记数据的大数据集,并为此任务训练分类算法/神经网络,如BILSTM或BERT。这也可以识别未知的电影标题,因为它们在句子中的位置和句子中的其他单词

  • 训练所有单词/实体(LDA、单词嵌入等)的无监督或监督表示,识别电影的集群(可能不同类型的电影在不同的集群中…),并使用knn或类似方法标记输入句子的部分

  • 老派:

  • 使用已知电影标题的数据集,查看电影标题是否是句子的子字符串(可以使用Jaro Winkler或Levenshtein等字符串相似性算法,使分类能够处理细微差异和打字错误)。这种方法只能识别已知的电影标题(几乎每部电影的标题都可以在IMDB上找到)

  • 你有训练数据吗?是的,但很少像100个这样的句子。你有训练数据吗?是的,但很少像100个这样的句子。