基于nlp-python的监督文本分类

基于nlp-python的监督文本分类,python,nlp,text-classification,supervised-learning,Python,Nlp,Text Classification,Supervised Learning,我是nlp的新手,如果这是一个老问题,我很抱歉,但我不知道如何解决它。 因此,我有一个包含3k个职位及其描述的数据集,在另一个数据集中,我有8个类别(每个类别的列表都包含关键字),我需要将第一个数据集标记为这些类别,因此我必须根据关键字对职位描述进行分类 我已经完成了预处理任务,现在我在df中有一列包含来自工作描述文本的单词列表,在df_jobcat中有一列包含关键字列表。我想将工作描述文本中的单词列表与其对应的关键字列表进行匹配。我已经写了这个函数,但它给了我一些错误的结果 def class

我是nlp的新手,如果这是一个老问题,我很抱歉,但我不知道如何解决它。 因此,我有一个包含3k个职位及其描述的数据集,在另一个数据集中,我有8个类别(每个类别的列表都包含关键字),我需要将第一个数据集标记为这些类别,因此我必须根据关键字对职位描述进行分类

我已经完成了预处理任务,现在我在df中有一列包含来自工作描述文本的单词列表,在df_jobcat中有一列包含关键字列表。我想将工作描述文本中的单词列表与其对应的关键字列表进行匹配。我已经写了这个函数,但它给了我一些错误的结果

def classification(df, df_jobcat):
for index in df.index:
    dict = {}
    for i in df_jobcat.index:
        s = 0
        for elt in df_jobcat['Technologies'][i]:
            counter= df['Job_description'][index].count(elt)
            s = s + counter
        dict[df_jobcat['Profil'][i]] = s 
    max_key = max(dict, key=dict.get)
    if dict[max_key] != 0 :
        df['target'][index] = max_key
        
    else: 
        df['target'][index] = None

<>我找到了一些方法,比如LDA,关键字方法等等。但是我没有设法应用它,对不起,但是我有点迷茫了。HHH,任何帮助都会被赏识。

如果你没有解决你的问题,考虑问你的问题。这是因为编程问题也是如此,你们的问题更多的是关于设计一个分类系统。通常,这类任务是使用机器学习完成的,它可能比手动方法更好一些。