Filesystems IBM通用并行文件系统(GPFS)是否支持映射/减少作业?

Filesystems IBM通用并行文件系统(GPFS)是否支持映射/减少作业?,filesystems,hadoop,Filesystems,Hadoop,我正在研究各种分布式文件系统 IBM通用并行文件系统(GPFS)本身是否支持映射/减少作业?不使用第三方软件(如Hadoop Map/reduce) 谢谢 GPFS是在Map/Reduce作为分布式计算范式被发明之前的近几十年发展起来的。GPFS本身没有映射/减少功能。As主要针对HPC,存储节点不同于计算节点 因此,Map/Reduce可以使用第三方软件(在所有Hadoop节点上安装GPF)完成,但由于所有数据都离得很远,所以效果不是很好。不能使用任何数据区域性。缓存或多或少都是无用的,等等。

我正在研究各种分布式文件系统

IBM通用并行文件系统(GPFS)本身是否支持映射/减少作业?不使用第三方软件(如Hadoop Map/reduce)


谢谢

GPFS是在Map/Reduce作为分布式计算范式被发明之前的近几十年发展起来的。GPFS本身没有映射/减少功能。As主要针对HPC,存储节点不同于计算节点


因此,Map/Reduce可以使用第三方软件(在所有Hadoop节点上安装GPF)完成,但由于所有数据都离得很远,所以效果不是很好。不能使用任何数据区域性。缓存或多或少都是无用的,等等。

GPFS是在Map/Reduce作为分布式计算范例被发明之前的近几十年中开发出来的。GPFS本身没有映射/减少功能。As主要针对HPC,存储节点不同于计算节点


因此,Map/Reduce可以使用第三方软件(在所有Hadoop节点上安装GPF)完成,但由于所有数据都离得很远,所以效果不是很好。不能使用任何数据区域性。缓存或多或少都是无用的,等等。

在2009年,GPFS被扩展到与Hadoop无缝工作,因为GPFS不共享任何集群架构,现在以GPFS文件放置优化器(FPO)的名义提供。如果应用程序需要,FPO允许完全控制所有副本的数据放置。当然,您可以轻松配置以匹配HDFS分配


查看2009年的详细信息,GPFS被扩展为与Hadoop无缝协作,因为GPFS没有共享任何集群架构,现在以GPFS文件放置优化器(FPO)的名义提供。如果应用程序需要,FPO允许完全控制所有副本的数据放置。当然,您可以轻松配置以匹配HDFS分配


查看

的详细信息您基本上回答了自己的问题:它是一个文件系统,不是一个计算框架。但Hadoop本身支持文件系统和计算能力:Map/reduce jobsYeah,但它们是分开的,它是HDFS和MapReduce。您可以只运行HDFS,也可以只运行MapReduce。MapReduce然后可以使用HDFS或其他文件系统,甚至本地文件系统。您基本上回答了自己的问题:它是一个文件系统,而不是一个计算框架。但Hadoop本身支持文件系统和计算能力:Map/reduce jobsYeah,但它们是分开的,是HDFS和MapReduce。您可以只运行HDFS,也可以只运行MapReduce。然后,MapReduce可以使用HDFS或其他文件系统,甚至本地文件系统。