在AmazonEMR中Hadoop的所有节点上运行脚本
如何在Amazon EMR上的所有节点(主节点和从节点)上运行脚本,script-runner.jar仅在Namenode上运行。您有引导选项: 您可以使用引导操作安装其他软件并更改集群上应用程序的配置。引导操作是在Amazon EMR启动集群时在集群节点上运行的脚本。它们在Hadoop启动和节点开始处理数据之前运行。您可以创建自定义引导操作,或使用Amazon EMR提供的预定义引导操作 从文件中: 这非常简单,只需放置一个脚本将复制到S3中,然后如果您从命令行启动EMR,请添加如下参数:在AmazonEMR中Hadoop的所有节点上运行脚本,hadoop,amazon-emr,Hadoop,Amazon Emr,如何在Amazon EMR上的所有节点(主节点和从节点)上运行脚本,script-runner.jar仅在Namenode上运行。您有引导选项: 您可以使用引导操作安装其他软件并更改集群上应用程序的配置。引导操作是在Amazon EMR启动集群时在集群节点上运行的脚本。它们在Hadoop启动和节点开始处理数据之前运行。您可以创建自定义引导操作,或使用Amazon EMR提供的预定义引导操作 从文件中: 这非常简单,只需放置一个脚本将复制到S3中,然后如果您从命令行启动EMR,请添加如下参数: -
--bootstrap-action 's3://my-bucket/boostrap.sh'
或者,如果您是通过web界面执行此操作,只需在“引导操作”中以“自定义操作”的形式在中输入文件的位置即可。您是否可以澄清,您指的是在引导时运行脚本,根据@Paulo下面的回答,还是部分通过运行?如果是前者,你可能应该接受保罗的回答。我也有同样的问题,而引导行动对我来说不是一个选择。如何使用script-runner.jar在所有节点(主节点和从节点)上运行脚本。