将pyspark tfidf向量转换为数据帧

将pyspark tfidf向量转换为数据帧,pyspark,nlp,similarity,tf-idf,Pyspark,Nlp,Similarity,Tf Idf,使用pyspark对约60k行的数据帧执行tfidf计算。 为每一行获取一个向量作为结果,以向量的形式包含所有分数 我想在一个数据帧中转换这些向量,使每个术语成为一列,然后每个后续行都有相应的tf idf分数

使用pyspark对约60k行的数据帧执行tfidf计算。 为每一行获取一个向量作为结果,以向量的形式包含所有分数

我想在一个数据帧中转换这些向量,使每个术语成为一列,然后每个后续行都有相应的tf idf分数