Google cloud platform 如何在Google Dataproc上安排Spark作业?

Google cloud platform 如何在Google Dataproc上安排Spark作业?,google-cloud-platform,google-cloud-dataproc,Google Cloud Platform,Google Cloud Dataproc,我想使用Dataproc在Google云上创建一个摄取/聚合流,在这之前,我每天/每小时都要对收集的数据运行一次Spark作业 有没有办法安排Spark的工作?或者根据流中出现的任何新数据事件触发此触发器?可能是您的解决方案。它完全支持您所描述的内容,例如,每天运行一系列作业。您找到了解决问题的方法吗need@HashanMalawanaHenry的答案对于调度和触发都很好,我们可以使用云功能。谢谢,我会看到的。

我想使用Dataproc在Google云上创建一个摄取/聚合流,在这之前,我每天/每小时都要对收集的数据运行一次Spark作业


有没有办法安排Spark的工作?或者根据流中出现的任何新数据事件触发此触发器?

可能是您的解决方案。它完全支持您所描述的内容,例如,每天运行一系列作业。

您找到了解决问题的方法吗need@HashanMalawanaHenry的答案对于调度和触发都很好,我们可以使用云功能。谢谢,我会看到的。