Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/unix/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用Unix搜索';s split | grep | cat vs Hadoop_Unix_Hadoop - Fatal编程技术网

使用Unix搜索';s split | grep | cat vs Hadoop

使用Unix搜索';s split | grep | cat vs Hadoop,unix,hadoop,Unix,Hadoop,为什么我要使用hadoop在多个大文件中搜索字符串,而不是使用现成的unix工具,如split、grep和cat 谢谢 AshishHadoop设计用于搜索多个文件并合并结果。提到的其他工具无法做到这一点(如果没有大量工作)。特别是,由于Hadoop(跨多个服务器)并行地完成这项工作,这意味着“大量工作”必须用支持并行性的语言完成。Python可以用于特定的原型,但可能无法与split、grep和cat(如bash)相比(除非您大幅降低需求)

为什么我要使用hadoop在多个大文件中搜索字符串,而不是使用现成的unix工具,如split、grep和cat

谢谢
Ashish

Hadoop设计用于搜索多个文件并合并结果。提到的其他工具无法做到这一点(如果没有大量工作)。特别是,由于Hadoop(跨多个服务器)并行地完成这项工作,这意味着“大量工作”必须用支持并行性的语言完成。Python可以用于特定的原型,但可能无法与split、grep和cat(如bash)相比(除非您大幅降低需求)