Google cloud platform 自动调整大小：无法达到us-central1-f区域中工作池的调整大小目标

我在Google Cloud Dataflow中运行一个使用Apache Beam模型的管道，但是我无法将其从8个工作人员扩展到8个工作人员，即使最大工作人员数量是32个

当我尝试运行相同的管道，将worker数设置为32时，它会给我以下警告：

Autoscaling：启动us-central1-f区的工作人员池的人数达到了30人，但目标是32人。服务将重试。超过配额：超过配额“磁盘总数”\u GB。限制：4096.0

自动缩放：无法达到us-central1-f区域中的调整大小目标。超过配额：超过配额“磁盘总数”\u GB。限制：4096.0

---

但仍然没有超过8名工人。管道使用不超过8个工人有什么特殊原因吗？

数据流将使用您可以获得的任何数量的工人。在你的情况下，它将达到30名工人，并将使用他们。但是，它将不断重试以达到32，因为配额可以由其他工作流返回。

问题是配额限制。Google Dataflow使用Google Compute Engine的幕后虚拟机，并应用它们的配额。8的具体限制是由正在使用的外部IP地址配额限制引起的。当我试图扩展到32时，也违反了其他配额，比如磁盘空间。因此，如果有人遇到同样的问题，我建议在管道运行时转到控制台上的

IAM Admin>Quotas

，检查管道可能违反的配额

此外，如果您使用已部署的模板运行或使用Eclipse插件在调试模式下运行，则日志也会有所不同。后者将比前者提供更多的细节

拜访

使用显示配额类型的筛选器菜单

您可以通过“当前使用情况”列的颜色判断API限制已达到限制

单击已超过使用量的API的编辑配额，并请求新限额。这将每天花费几个小时

---

你没有32人的配额。你能试着用最多30名工人吗？这是流式处理还是批处理？如果可以，您是否有数据流作业id？在这种情况下，它也应该使用30。它保持在8点？在这种情况下，UI可能已过时。我们可以使用作业id进行检查。我在没有设置任何限制的情况下进行了尝试，让自动缩放自行工作，工人数量扩展到8人，尝试达到11人的目标，但失败并保持在8人。作业ID为2017-09-01_04_00_51-11489162724292257643。我再次运行了相同的管道，但出现了与quote相关的新错误，这听起来更可能与问题有关：

自动缩放：无法达到us-central1-f区域中的调整大小目标。超出配额：超出配额“在使用地址中”。限制：8.0

这就是原因。当存在多个配额冲突时，数据流会突出显示任意一个配额冲突。在GCE VM实例日志中的Stackdriver日志中可以找到其他错误消息。它没有。它只使用8个工人，有或没有自动缩放。