如何使用Python访问Amazon EMR错误消息

我正在运行由气流启动的EMR群集，我需要某种方法将错误消息传递回气流。气流在Python中运行，所以我需要在Python中完成这项工作

---

当前，错误日志位于“配置详细信息”下的“日志URI”部分。访问这可能是一种方法，但是任何使用python从emr访问错误日志的方法都会非常有用。

您可以使用访问S3中的emr日志。 S3路径将是：

• stderr:

  s3:///logs//steps//stderr.gz

• stout:

  s3:///logs///steps//stdout.gz

• 控制器：

  s3:///logs///steps//controller.gz

• syslog:

  s3:///logs///steps//syslog.gz

集群ID和步骤ID可以通过XCOM从创建集群/步骤的任务传递到不同的任务

火花警告（可能适用于其他类型的步骤）：

---

如果您在客户端模式下提交步骤，就像使用群集模式一样，则需要更改URL以获取驱动程序的应用程序日志。

您使用哪个操作员？“将错误消息传递回”是指在Airflow中提升它还是在tasks logs中显示它？我的意思是我希望能够在Airflow代码中搜索日志并对其执行操作。