Amazon web services 使用ShellCommandActivity创建AWS数据管道EMR群集

Amazon web services 使用ShellCommandActivity创建AWS数据管道EMR群集,amazon-web-services,amazon-emr,amazon-data-pipeline,Amazon Web Services,Amazon Emr,Amazon Data Pipeline,当我创建一个应用程序时,我可以通过他们在上的简单向导来完成。完成后,我可以对其进行测试,当我对其配置感到满意时,我只需单击AWS CLI导出按钮并复制创建EMR的命令 我需要创建一个EMR作为我的流程的一部分,而不是配置,然后运行我想要的任何东西。我想知道我是否可以复制我在测试期间导出的CLI命令,并将其粘贴到将创建EMR的中。从那里,我可以使用empractivity进行一些处理,也可以使用ShellCommandActivity进行处理 我是否可以使用通过ShellCommandActivi

当我创建一个应用程序时,我可以通过他们在上的简单向导来完成。完成后,我可以对其进行测试,当我对其配置感到满意时,我只需单击AWS CLI导出按钮并复制创建EMR的命令

我需要创建一个EMR作为我的流程的一部分,而不是配置,然后运行我想要的任何东西。我想知道我是否可以复制我在测试期间导出的CLI命令,并将其粘贴到将创建EMR的中。从那里,我可以使用empractivity进行一些处理,也可以使用ShellCommandActivity进行处理

我是否可以使用通过ShellCommandActivity运行的CLI命令创建AWS数据管道EMR群集?如果我这样做了,我能对那个EMR集群运行EMR吗?我只是认为这样创建EMR会更容易,因为我可以使用AWS管理控制台创建我的EMR,然后在导出CLI命令之前测试我的EMR,而不是通过AWS数据管道向导/JSON过程正确构建EMR。即,在AWS管理控制台上创建EMR时,AWS管理控制台上的实际EMR向导比数据管道向导容易得多,尤其是在选择我的安全组和各种配置时

更新:


我刚刚验证了我实际上可以通过ShellCommandActivity运行CLI命令,通过数据管道创建我的EMR,但这可能是一种代码味道还是一种糟糕的做法?通过这种方式而不是通过预定义的EmrCluster命令在数据管道上创建和EMR是否有任何缺点?

这是可能的,但有点复杂:

以下操作或脚本本身必须等待创建集群。确保操作没有超时。 数据管道不知道集群的情况,因此需要在empractivity中指定workerGroup而不是runsOn。您还需要在集群上安装。
谢谢你的反馈,我甚至没有想到我会为EMR启动时间做些什么。此外,我在弄清楚如何获取EMR集群ID以便在EMR集群上运行任务时遇到了困难。看起来我只需要使用EmrCluster和empractivity字段。谢谢