Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何使用ApacheSpark在Python中移动标签_Python_Apache Spark_Ipython - Fatal编程技术网

如何使用ApacheSpark在Python中移动标签

如何使用ApacheSpark在Python中移动标签,python,apache-spark,ipython,Python,Apache Spark,Ipython,我正在尝试移动标签点的标签,使其从0开始。现在parseddatanit.take(1)在底部的代码之前是这样的: [LabeledPoint(2001.0,[0.884123733793,0.610454259079,0.600498416968,0.474669212493,0.247232680947,0.357306088914,0.344136412234,0.339641227335,0.600858840135,0.425704689024,0.60491501652,0.4191

我正在尝试移动标签点的标签,使其从0开始。现在parseddatanit.take(1)在底部的代码之前是这样的:

[LabeledPoint(2001.0,[0.884123733793,0.610454259079,0.600498416968,0.474669212493,0.247232680947,0.357306088914,0.344136412234,0.339641227335,0.600858840135,0.425704689024,0.60491501652,0.419193351817])]
标签是年份,例如,2001.0是最大年份,1922.0是最小年份。区别是89.0,我正在尝试的是移动标签,使其从0开始,使新的minYear 0和新的maxYear 89保持相同的功能。我是apache spark的新手,非常感谢您的帮助。提前谢谢!这是我的密码:

parsedData = parsedDataInit.map(lambda lp: lp.label) # This is where I'm having trouble
print type(parsedData.take(1)[0])
print '\n{0}'.format(parsedData.take(1))

你只需从每年的最低收入中减去

def normalize(data):
  labels = data.map(lambda lp: lp.label)
  minLabel = labels.min()
  return data.map(
    lambda lp: LabeledPoint(lp.label - minLabel, lp.features))

基于@Daniel响应问题的单线解决方案(不创建任何新函数):


parsedData=parseddatanit.map(lambda lp:LabeledPoint(lp.label-minYear,lp.features))

“要求家庭作业帮助的问题必须包括您迄今为止为解决问题所做工作的总结,以及您解决问题的困难描述。”这是来自Edx可伸缩机器学习MOOC实验室作业!!这里有一个广场可以问你关于家庭作业的问题。@eliasah,谢谢你的评论。我今天刚刚参加了另一个apache spark课程。在阅读了你的评论之后,我现在明白了,这门课程(我在这里无法命名)只是从edx复制粘贴而已。)