Amazon web services 如何以编程方式检查Spark步骤状态(在EMR群集上提交)?

Amazon web services 如何以编程方式检查Spark步骤状态(在EMR群集上提交)?,amazon-web-services,apache-spark,aws-lambda,amazon-emr,aws-step-functions,Amazon Web Services,Apache Spark,Aws Lambda,Amazon Emr,Aws Step Functions,我创建了一个简单的步骤函数,如下所示: 开始->启动EMR群集并提交作业->结束 我想找出一种机制来确定我的spark步骤是否成功完成 我能够启动EMR集群并将spark作业附加到它,从而成功完成并终止集群。 遵循此链接中的步骤: 现在,我正在查看状态,ejob轮询器将为我获取有关EMR集群创建是否成功的信息。 我正在寻找方法,我可以找到火花工作状态 从botocore.vendored导入请求 进口boto3 导入json def lambda_handlerevent,上下文: conn=

我创建了一个简单的步骤函数,如下所示: 开始->启动EMR群集并提交作业->结束

我想找出一种机制来确定我的spark步骤是否成功完成

我能够启动EMR集群并将spark作业附加到它,从而成功完成并终止集群。 遵循此链接中的步骤:

现在,我正在查看状态,ejob轮询器将为我获取有关EMR集群创建是否成功的信息。 我正在寻找方法,我可以找到火花工作状态

从botocore.vendored导入请求 进口boto3 导入json def lambda_handlerevent,上下文: conn=两个客户Mr 群集\u id=conn.run\u作业\u流 Name='xyz', ServiceRole='xyz', JobFlowRole='asd', VisibleToAllUsers=True, LogUri=, ReleaseLabel='emr-5.16.0', 实例={ 'Ec2SubnetId':'xyz', “InstanceGroups”:[ { '名称':'主', “市场”:“随需应变”, 'InstanceRole':'MASTER', 'InstanceType':'m4.xlarge', “InstanceCount”:1, } ], “KeepJobFlowAliveWhenOsteps”:False, “TerminationProtected”:False, }, 应用程序=[ { “名称”:“火花” }, { “名称”:“Hadoop” } ], 步骤=[{'Name':mystep, 'ActionOnFailure':'TERMINATE_CLUSTER', 'HadoopJarStep':{ “Jar”:“Jar”, “Args”:[ ,jar,main类 ] } }] 返回群集id 您可以使用cli或sdk访问群集的所有步骤,然后使用特定步骤获取其状态