Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/logging/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google cloud dataflow 如何在Google云数据流上高效地执行大型矩阵乘法?_Google Cloud Dataflow - Fatal编程技术网

Google cloud dataflow 如何在Google云数据流上高效地执行大型矩阵乘法?

Google cloud dataflow 如何在Google云数据流上高效地执行大型矩阵乘法?,google-cloud-dataflow,Google Cloud Dataflow,我们需要用一维向量乘以一个大矩阵。大矩阵是稀疏的。在第二种情况下,我们需要将两个大矩阵相乘,这两个矩阵都是稀疏的。在第三种情况下,我们需要乘以两个大矩阵,它们都是稠密的 apachespark似乎为矩阵提供了一种内置的数据类型(包括用于稀疏矩阵的专用数据类型)以及一组非常丰富的矩阵线性代数库(乘法、加法、转置等) 对于上述三种场景,如何在Google Cloud DataFlow上高效地执行矩阵乘法(或矩阵的其他线性代数运算)?DataFlow目前本机不支持矩阵运算。也就是说,应该可以像spar

我们需要用一维向量乘以一个大矩阵。大矩阵是稀疏的。在第二种情况下,我们需要将两个大矩阵相乘,这两个矩阵都是稀疏的。在第三种情况下,我们需要乘以两个大矩阵,它们都是稠密的

apachespark似乎为矩阵提供了一种内置的数据类型(包括用于稀疏矩阵的专用数据类型)以及一组非常丰富的矩阵线性代数库(乘法、加法、转置等)


对于上述三种场景,如何在Google Cloud DataFlow上高效地执行矩阵乘法(或矩阵的其他线性代数运算)?

DataFlow目前本机不支持矩阵运算。也就是说,应该可以像spark一样实施这些操作

对于稀疏矩阵,应该可以按
(x,y)
坐标设置关键帧,然后执行
GroupByKey

对于密集矩阵,可以将矩阵划分为块,使用
GroupByKey
对块进行分组,然后使用本机库(如BLAS)在块上实现乘法


有关如何在Spark中实现块操作的更多信息,请参阅。

以下内容应适用于数据流。

请在答案中包含链接资源的要点,以便人们无需点击即可理解基本思想,如果链接停止工作,答案仍然有用。你也能回答这个问题吗?如何在谷歌云中实现矩阵乘法?