Google cloud platform 云编写器与云调度器

我目前正在学习GCP数据工程师考试，一直在努力理解何时使用云调度器以及何时使用云编写器

通过阅读文档，我的印象是，当作业之间存在相互依赖关系时，应该使用Cloud Composer，例如，我们需要一个作业的输出在第一个作业完成时启动另一个作业，并使用来自第一个作业的依赖关系。然后，您可以根据需要灵活地链接任意多个“工作流”，并提供在出现故障时重新启动作业、运行批处理作业、shell脚本、链接查询等的机会

对于Cloud Scheduler，它在可以执行哪些任务方面具有非常相似的功能，但是，它更多地用于常规作业，您可以定期执行，而不必在作业之间存在相互依赖关系或需要等待其他作业后再启动另一个作业时使用。因此，它似乎更适合用于“更简单”的任务

这些想法是在试图回答我发现的一些考试问题之后产生的。然而，我对我发现的“正确答案”感到惊讶，并希望有人能澄清这些答案是否正确，以及我是否理解何时使用它们

以下是一些让我困惑的问题示例：

问题1

您正在实现几个必须按计划执行的批处理作业。这些作业有许多相互依赖的步骤，必须按特定顺序执行。部分作业涉及执行shell脚本、运行Hadoop作业和在BigQuery中运行查询。这些作业预计将运行数分钟到数小时。如果步骤失败，则必须重试固定次数。 您应该使用哪个服务来管理这些作业的执行

A.云调度器

B.云数据流

C.云功能

D.云作曲家

正确答案：A

问题2

您希望自动执行在谷歌云上运行的多步骤数据管道。管道包括相互具有多个依赖关系的Cloud Dataproc和Cloud Dataflow作业。您希望尽可能使用托管服务，并且管道将每天运行。 你应该使用哪种工具

A.克朗

B.云作曲家

C.云调度器

D.Cloud Dataproc上的工作流模板

正确答案：D

问题3

您的公司有一个混合云计划。您有一个复杂的数据管道，可以在云提供商服务之间移动数据，并利用来自每个云提供商的服务。 您应该使用哪个云本机服务来协调整个管道

A.云数据流

B.云作曲家

C.云数据准备

D.云数据处理

正确答案：D

---

对此有任何见解都将不胜感激。谢谢大家!

您的假设是正确的，Cloud Composer是一个Apache管理的服务，它在协调相互依赖的管道时运行良好，而Cloud Scheduler只是一个管理的Cron服务

---

我不知道你从哪里得到了这些问题和答案，但我向你保证（我上个月刚刚获得了GCP数据工程师认证），正确的答案应该是每个问题的Cloud Composer，只需忽略这个假定的正确答案，继续前进。

云调度器本质上就是Cron-as-a-service。您只需输入计划和端点（发布/子主题、HTTP、应用引擎路由）。Cloud Scheduler内置了重试处理功能，因此您可以设置固定的次数，并且对请求没有时间限制。该功能比CloudComposer简单得多

Cloud Composer是由Apache Airflow管理的，它“帮助您创建、调度、监控和管理工作流。Cloud Composer automation可帮助您快速创建气流环境，并使用气流原生工具，如功能强大的气流web界面和命令行工具，因此您可以专注于您的工作流，而不是基础设施。”（）

---

气流通过所有需要的工具对准数据管道

谢谢大家!！这更有意义，我会开始忽略我在网上找到的答案，浪费时间，无缘无故地感到困惑