使用Unix搜索';s split | grep | cat vs Hadoop
为什么我要使用hadoop在多个大文件中搜索字符串,而不是使用现成的unix工具,如split、grep和cat 谢谢使用Unix搜索';s split | grep | cat vs Hadoop,unix,hadoop,Unix,Hadoop,为什么我要使用hadoop在多个大文件中搜索字符串,而不是使用现成的unix工具,如split、grep和cat 谢谢 AshishHadoop设计用于搜索多个文件并合并结果。提到的其他工具无法做到这一点(如果没有大量工作)。特别是,由于Hadoop(跨多个服务器)并行地完成这项工作,这意味着“大量工作”必须用支持并行性的语言完成。Python可以用于特定的原型,但可能无法与split、grep和cat(如bash)相比(除非您大幅降低需求)
AshishHadoop设计用于搜索多个文件并合并结果。提到的其他工具无法做到这一点(如果没有大量工作)。特别是,由于Hadoop(跨多个服务器)并行地完成这项工作,这意味着“大量工作”必须用支持并行性的语言完成。Python可以用于特定的原型,但可能无法与split、grep和cat(如bash)相比(除非您大幅降低需求)