Google cloud platform GCP（谷歌云平台）中的dataproc是否可以根据计划而非策略自动扩展

这是直截了当的。 我正在开发的系统将在dataproc（谷歌云平台）中提供 由于我们系统的某些业务特性，我们可以计算出未来处理的预期数据。 所以，我只想在此基础上扩展dataproc

是否有任何想法通过调度器或我们实现的API扩展dataproc

---

提前感谢。

您可以使用

gcloud Dataproc clusters update

或其中一个Dataproc客户端库中的等效API调用来更新Dataproc集群的大小，请参阅文档。它还支持，其中集群可以根据集群上的负载增长和收缩。

对于这种情况，您应该结合使用云调度程序和方法

创建云调度器作业运行手动扩展API调用，如下所示

您必须知道如何在scailing作业中使用cron调度

在此场景中，您只能指定集群使用的节点数，而不能指定增量节点数。这是此解决方案的一个限制。下面是API调用的示例

PATCH /v1/projects/project-id/regions/us-central1/clusters/example-cluster?updateMask=config.worker_config.num_instances,config.secondary_worker_config.num_instances
{
  "config": {
  "workerConfig": {
  "numInstances": 4
},
"secondaryWorkerConfig": {
  "numInstances": 2
}
  },
  "labels": null
}

---

对于DATAPROC API的详细描述，请参阅

好的答案，但是如果提问者想要克服云调度程序的局限性，他/她可以考虑更灵活的云作曲器。