Pyspark ';模块';对象没有属性';分析';使用解霸时
我的pyspark作业失败,错误显示:“module”对象没有属性“analysis”。但是我已经在脚本中导入了jieba.analysis。类似的脚本可以在本地vm中成功运行。不知道为什么工作失败了 我的部分代码如下:Pyspark ';模块';对象没有属性';分析';使用解霸时,pyspark,Pyspark,我的pyspark作业失败,错误显示:“module”对象没有属性“analysis”。但是我已经在脚本中导入了jieba.analysis。类似的脚本可以在本地vm中成功运行。不知道为什么工作失败了 我的部分代码如下: # -*- coding: utf-8 -*- import sys reload(sys) sys.setdefaultencoding('utf-8') import jieba from jieba import analyse import pyspark from p
# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import jieba
from jieba import analyse
import pyspark
from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext('local')
spark = SparkSession(sc)
text_file = sc.textFile("gs://xxx")
def process_uinfo(line):
line = line.strip()
line_arr = line.split('\t')
(title, content) = line_arr
l_title = jieba.analyse.extract_tags(title, topK=20, withWeight=True)
return "\t".join([l_title, content])
out_rdd = text_file.map(process_uinfo)
错误“'module'对象没有属性'analysis'”出现在以下行中:
l_title = jieba.analyse.extract_tags(title, topK=20, withWeight=True)
你有没有试过不使用解霸,比如:analysis.extract_标签(title,topK=20,withWeight=True)就可以了!谢谢Rishikesh:)你有没有试过不使用解霸,比如:analysis.extract_标签(title,topK=20,withWeight=True)它可以工作!谢谢Rishikesh:)