Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/297.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 在hadoop远程群集上运行MapReduce作业_Python_Hadoop_Mrjob - Fatal编程技术网

Python 在hadoop远程群集上运行MapReduce作业

Python 在hadoop远程群集上运行MapReduce作业,python,hadoop,mrjob,Python,Hadoop,Mrjob,我想知道是否有一种方法可以将MapReduce作业运行到Hadoop远程集群中。在我的大学里有一个安装了Hadoop的集群,所以我一直在学习MapReduce来分配机器学习任务。但是,我还没有找到在非Amazon MR的远程机器上运行MapReduce作业的明确信息。至少有一些教程可以在远程机器上运行python MR吗 提前感谢。最简单的方法是通过SSH连接到集群,并使用bashThank@maxteneff运行作业,我认为这是目前最方便的选择。也许我可以设计一个MrJob通用扩展作为未来的工

我想知道是否有一种方法可以将MapReduce作业运行到Hadoop远程集群中。在我的大学里有一个安装了Hadoop的集群,所以我一直在学习MapReduce来分配机器学习任务。但是,我还没有找到在非Amazon MR的远程机器上运行MapReduce作业的明确信息。至少有一些教程可以在远程机器上运行python MR吗


提前感谢。

最简单的方法是通过SSH连接到集群,并使用bashThank@maxteneff运行作业,我认为这是目前最方便的选择。也许我可以设计一个MrJob通用扩展作为未来的工作。最简单的方法是通过SSH连接到集群,并使用bashThank@maxteneff运行作业,我认为这是目前最方便的选择。也许我可以设计一个MrJob通用扩展作为未来的工作。