Python 如何使用mapreduce减去两个高矩阵和瘦矩阵?
我想用mapreduce减去两个又高又瘦的矩阵。 一个矩阵存储在一个文件中,另一个矩阵存储在另一个文件中。 如何应用mapreduce概念,然后如何同时向Hadoop发出输入两个文件的命令?(目前,我正在为Hadoop使用python中的Dumbo) 有人能提出想法或来源吗Python 如何使用mapreduce减去两个高矩阵和瘦矩阵?,python,hadoop,mapreduce,Python,Hadoop,Mapreduce,我想用mapreduce减去两个又高又瘦的矩阵。 一个矩阵存储在一个文件中,另一个矩阵存储在另一个文件中。 如何应用mapreduce概念,然后如何同时向Hadoop发出输入两个文件的命令?(目前,我正在为Hadoop使用python中的Dumbo) 有人能提出想法或来源吗 !['''x=0,y=0,z=0,a=0''' x=0 y=0 z=0 a=0 def mapper1(key1,value1): x=key1 y=value1 yield x,y ''
!['''x=0,y=0,z=0,a=0'''
x=0
y=0
z=0
a=0
def mapper1(key1,value1):
x=key1
y=value1
yield x,y
'''yield key1,value1'''
def mapper(key,value):
z=key
a=value
yield z,a
'''yield key,value'''
def reducer(x,y,z,a):
if x==z:
res=math.abs(y-a)
yield x,res
if __name__ == "__main__":
import numpy as np
import math
import dumbo
dumbo.run(mapper1,mapper,reducer)
'''e''']
我得到一个错误:[1]:您能展示一个示例矩阵和您到目前为止尝试过的内容吗?包含矩阵的两个文件都是顺序格式,维度是(38lakh,10)。