Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
在AmazonEMR中Hadoop的所有节点上运行脚本_Hadoop_Amazon Emr - Fatal编程技术网

在AmazonEMR中Hadoop的所有节点上运行脚本

在AmazonEMR中Hadoop的所有节点上运行脚本,hadoop,amazon-emr,Hadoop,Amazon Emr,如何在Amazon EMR上的所有节点(主节点和从节点)上运行脚本,script-runner.jar仅在Namenode上运行。您有引导选项: 您可以使用引导操作安装其他软件并更改集群上应用程序的配置。引导操作是在Amazon EMR启动集群时在集群节点上运行的脚本。它们在Hadoop启动和节点开始处理数据之前运行。您可以创建自定义引导操作,或使用Amazon EMR提供的预定义引导操作 从文件中: 这非常简单,只需放置一个脚本将复制到S3中,然后如果您从命令行启动EMR,请添加如下参数: -

如何在Amazon EMR上的所有节点(主节点和从节点)上运行脚本,script-runner.jar仅在Namenode上运行。

您有引导选项:

您可以使用引导操作安装其他软件并更改集群上应用程序的配置。引导操作是在Amazon EMR启动集群时在集群节点上运行的脚本。它们在Hadoop启动和节点开始处理数据之前运行。您可以创建自定义引导操作,或使用Amazon EMR提供的预定义引导操作

从文件中:

这非常简单,只需放置一个脚本将复制到S3中,然后如果您从命令行启动EMR,请添加如下参数:

--bootstrap-action 's3://my-bucket/boostrap.sh'

或者,如果您是通过web界面执行此操作,只需在“引导操作”中以“自定义操作”的形式在中输入文件的位置即可。

您是否可以澄清,您指的是在引导时运行脚本,根据@Paulo下面的回答,还是部分通过运行?如果是前者,你可能应该接受保罗的回答。我也有同样的问题,而引导行动对我来说不是一个选择。如何使用script-runner.jar在所有节点(主节点和从节点)上运行脚本。