Google cloud platform 使用n2-standard-2机器类型运行数据流作业时，数据流作业是否随时仅使用2个vCPU'；s或它可以自动缩放到配额限制

我有一个关于机器类型的数据流作业的问题。我知道数据流使用默认机器类型作为n1-standard-1进行批处理，我们在asia-south1中有n1机器类型的配额问题。我们被要求改用N2机器类型。因此，在创建数据流模板时，甚至在从cloud shell运行数据流作业时，我将机器类型指定为

python -m <Python script> \
--project <project> \
--region asia-south1 \
--runner DataflowRunner \
--staging_location <staging location> \
--temp_location <temp location> \
--subnetwork <sub network> \
--zone asia-south1-a \
--machine_type n2-standard-2 \
--save_main_session

python-m\
--计划\
--亚洲南部地区1\
--转轮数据流转轮\
--登台地点\
--临时位置\
--子网\
--亚洲南1-a区\
--机器类型n2-standard-2\
--保存主会话

我的理解是，机器类型是数据流在开始工作时使用的类型，但在自动缩放和基于作业的情况下，vCPU的数量可以更多地基于项目配额，现在是32个CPU，数据流作业不会将其限制为仅2个vCPU。如果我的数据流作业在运行时需要4个vCPU，则无论我在运行或创建数据流模板（如n2-standard-2）时提到了什么，都将分配该作业

有人能证实我的理解吗？

在中，您有两个有趣的参数：

• num_workers

  这是您所需的最小工作人数

• max\u num\u workers

  您想要的最大工作人数

如果您的机器类型为

n2-standard-2

，并且您的n2 vCPU配额为32，则无法在num_workers参数（最小或最大）中输入超过16个。如果在

max_num_workers

中放入4个，即使项目配额为32个vCPU，管道也只能创建4个n2-standard-2虚拟机，因此最多可以创建8个vCPU

---

因此，项目配额可以在全局范围内限制您（对于数据流管道，以及其他VM/GKE创建），而

max_num_workers

仅限制当前管道中的工作人员数量（与CPU数量没有直接关系，这取决于机器类型）

非常感谢您的解释。我现在明白了。非常感谢你一如既往的帮助。由于我们不想限制管道现在运行的工人数量，并且它可以根据项目配额扩展到最大工人数量（因为我们启用了自动缩放），因此我将使用n2-standard-2机器类型，而不使用max_num_workers参数。因此，数据流作业将从2个vCPU（一个n2-standard-2）开始，并扩展到32个vCPU（16个n2-standard-2 VM）。如果你认为我还没有弄好，请纠正我。是的，你可以。您应该会在日志中看到错误（由于配额限制导致的扩展问题），但它不会中断您的管道。谢谢@guillaume blaquiere。感谢你的帮助和时间。