Amazon web services 如何添加EMR火花步骤?

Amazon web services 如何添加EMR火花步骤?,amazon-web-services,apache-spark,amazon-emr,Amazon Web Services,Apache Spark,Amazon Emr,根据报告: 对于步骤类型,选择Spark应用程序 但是在Amazon EMR->Clusters->mycluster->Steps->Add step->step type中,唯一的选项是: 我没有Spark应用程序选项,因为我创建了一个核心Hadoop集群 当我创建集群时,在软件配置下,我应该选择Spark,然后在步骤类型下有Spark应用程序选项。我没有Spark应用程序选项,因为我创建了一个核心Hadoop集群 当我创建集群时,在软件配置下,我应该选择Spark,然后在步骤类型下有Spa

根据报告:

对于步骤类型,选择Spark应用程序

但是在Amazon EMR->Clusters->mycluster->Steps->Add step->step type中,唯一的选项是:


我没有Spark应用程序选项,因为我创建了一个核心Hadoop集群


当我创建集群时,在软件配置下,我应该选择Spark,然后在步骤类型下有Spark应用程序选项。

我没有Spark应用程序选项,因为我创建了一个核心Hadoop集群


当我创建集群时,在软件配置下,我应该选择Spark,然后在步骤类型下有Spark应用程序选项。

有两种方法可以添加EMR Spark步骤:

-使用自定义应用程序

使用aws cli执行相同的操作

-火花应用
有两种方法可以添加EMR火花步骤:

-使用自定义应用程序

使用aws cli执行相同的操作

-火花应用

您可以将command-runner.jar用于您的用例。对于步骤类型,让它成为您拥有的选项中的自定义Jar。 查看此图像了解详细信息


您可以阅读有关command-runner.jar的更多信息

您可以将command-runner.jar用于您的用例。对于步骤类型,让它成为您拥有的选项中的自定义Jar。 查看此图像了解详细信息


您可以阅读有关command-runner.jar的更多信息

emr的哪个版本和哪个地区?@Lamanus region=eu central-1@Lamanus我在哪里可以看到我的EMR版本?EMR图像版本类似于EMR-5.29.0或EMR-6.0.0什么版本的EMR和哪个地区?@Lamanus region=eu central-1@Lamanus我在哪里可以看到我的电子病历版本?电子病历图像版本类似于emr-5.29.0或emr-6.0.0的东西,我相信他已经发现了这一点。这个问题是关于下拉列表的。我相信他已经发现了这一点。问题是关于下拉列表中的。
spark-submit --class org.apache.spark.examples.SparkPi /usr/lib/spark/examples/jars/spark-examples.jar 10
aws emr add-steps --cluster-id j-xxxxxxxx --steps Name="add emr step to run spark",Jar="command-runner.jar",Args=[spark-submit,--class,org.apache.spark.examples.SparkPi,/usr/lib/spark/examples/jars/spark-examples.jar,10]