Google cloud dataflow 如何在Google云数据流上高效地执行大型矩阵乘法?
我们需要用一维向量乘以一个大矩阵。大矩阵是稀疏的。在第二种情况下,我们需要将两个大矩阵相乘,这两个矩阵都是稀疏的。在第三种情况下,我们需要乘以两个大矩阵,它们都是稠密的 apachespark似乎为矩阵提供了一种内置的数据类型(包括用于稀疏矩阵的专用数据类型)以及一组非常丰富的矩阵线性代数库(乘法、加法、转置等)Google cloud dataflow 如何在Google云数据流上高效地执行大型矩阵乘法?,google-cloud-dataflow,Google Cloud Dataflow,我们需要用一维向量乘以一个大矩阵。大矩阵是稀疏的。在第二种情况下,我们需要将两个大矩阵相乘,这两个矩阵都是稀疏的。在第三种情况下,我们需要乘以两个大矩阵,它们都是稠密的 apachespark似乎为矩阵提供了一种内置的数据类型(包括用于稀疏矩阵的专用数据类型)以及一组非常丰富的矩阵线性代数库(乘法、加法、转置等) 对于上述三种场景,如何在Google Cloud DataFlow上高效地执行矩阵乘法(或矩阵的其他线性代数运算)?DataFlow目前本机不支持矩阵运算。也就是说,应该可以像spar
对于上述三种场景,如何在Google Cloud DataFlow上高效地执行矩阵乘法(或矩阵的其他线性代数运算)?DataFlow目前本机不支持矩阵运算。也就是说,应该可以像spark一样实施这些操作 对于稀疏矩阵,应该可以按
(x,y)
坐标设置关键帧,然后执行GroupByKey
对于密集矩阵,可以将矩阵划分为块,使用GroupByKey
对块进行分组,然后使用本机库(如BLAS)在块上实现乘法
有关如何在Spark中实现块操作的更多信息,请参阅。以下内容应适用于数据流。请在答案中包含链接资源的要点,以便人们无需点击即可理解基本思想,如果链接停止工作,答案仍然有用。你也能回答这个问题吗?如何在谷歌云中实现矩阵乘法?