使用python NLP查找句子相似性和性能改进
我正在做一个项目,为给定的输入句子显示使用python NLP查找句子相似性和性能改进,python,performance,nlp,spacy,synset,Python,Performance,Nlp,Spacy,Synset,我正在做一个项目,为给定的输入句子显示俚语。我有一个csv文件,其中包含500个俚语及其含义。所以我想要的是,当用户输入一个句子时,我会将输入的句子与我的csv文件中的所有含义一一匹配,并建议一个适合该句子的俚语。(意思与输入句子最相似的俚语) 目前我正在用Wordnet语法集匹配来做这件事,但结果并不好,有人建议最好的句子相似性库或算法来做这件事吗 另外,匹配synset所需的时间大约需要20秒来处理结果,如何提高速度?以下是我正在使用的代码: for sent in csv_list
俚语。我有一个csv
文件,其中包含500个俚语及其含义。所以我想要的是,当用户输入一个句子时,我会将输入的句子与我的csv文件中的所有含义一一匹配,并建议一个适合该句子的俚语。(意思与输入句子最相似的俚语)
目前我正在用Wordnet语法集匹配来做这件事,但结果并不好,有人建议最好的句子相似性库或算法来做这件事吗
另外,匹配synset所需的时间大约需要20秒来处理结果,如何提高速度?以下是我正在使用的代码:
for sent in csv_list:
input_sentence = pos_tag(word_tokenize(input_sentence))
sent = pos_tag(word_tokenize(sent))
# Get the synsets for the tagged words
input_synsets = [self.tagged_to_synset(*tagged_word) for tagged_word in input_sentence]
sent_synsets = [self.tagged_to_synset(*tagged_word) for tagged_word in sent]
score = self.get_sentence_similarity(input_synsets, sent_synsets)
get_Sequence_相似度方法只匹配语法集并返回结果