Azure 部署在ACI或AKS上的AMLS型号的1分钟服务超时

我们在机器学习服务上创建了一个图像评分模型，并在ACI和AKS上使用AMLS门户进行部署。 虽然它在较小的图像上运行，但对于较大的图像，它在ACI和AKS上都会在1分钟后超时。 预计图像评分可能需要几分钟的时间

想知道的是，使用AMLS部署是否有限制，或者ACI和AKS是否会在60秒后使部署的Web服务超时？？ 欢迎采取任何变通办法

ACI错误：- Post:net/http:request已取消客户端。等待标头时超过超时

AKS错误：-

---

复制副本在应答之前关闭连接

部署类有一个超时设置，您可以在构造函数中更改该设置，这会有所帮助。有些客户无论如何都会超时

---

scoring\u timeout\u ms:int=>为对此Web服务的评分调用强制执行的超时。默认值为60000

部署类有一个超时设置，您可以在构造函数中更改，这会有所帮助。有些客户无论如何都会超时

---

scoring\u timeout\u ms:int=>为对此Web服务的评分调用强制执行的超时。默认值为60000

如果您在AKS中部署服务，那么@Greg的解决方案在大多数情况下应该足够了。但是，如果您的评分超时值将超过60000毫秒，即60秒，那么我建议您也使用以下配置设置进行调整。当您的模型作为部署部署在Kubernetes中时，我们定义了LivenessProbe，这样，如果您的模型容器没有响应，Kubernetes可以自动重新启动您的容器，以恢复模型的运行状况

period_seconds：每个LivenessProbe之间的时间间隔。如果您的模型需要45秒来响应评分请求，那么您可以做的一件事是将每次LivenessProbe执行之间的时间间隔从默认的10秒增加到30秒或更长。 failure_threshold：Kubernetes重新启动模型容器之后LivenessProbe失败的次数。如果您希望每10秒运行一次LivenessProbe，并且您的模型需要45秒才能响应，那么您可以将failure_threshold从默认值3增加到10。这意味着在连续10次LivenessProbe失败后，Kubernetes将重新启动您的容器。 timeout_seconds：LivenessProbe在放弃之前等待的时间间隔。你可以考虑的另一个选择是将默认时间从2秒增加到30秒。这将导致LivenessProbe在容器繁忙时等待30秒，但在容器不繁忙时，它会提前回复。

---

没有一个正确的配置设置需要修改，但这些设置的组合肯定会有助于在应答错误之前防止502副本关闭连接。

如果您正在AKS中部署服务，那么@Greg的解决方案对于大多数情况应该足够了。但是，如果您的评分超时值将超过60000毫秒，即60秒，那么我建议您也使用以下配置设置进行调整。当您的模型作为部署部署在Kubernetes中时，我们定义了LivenessProbe，这样，如果您的模型容器没有响应，Kubernetes可以自动重新启动您的容器，以恢复模型的运行状况

period_seconds：每个LivenessProbe之间的时间间隔。如果您的模型需要45秒来响应评分请求，那么您可以做的一件事是将每次LivenessProbe执行之间的时间间隔从默认的10秒增加到30秒或更长。 failure_threshold：Kubernetes重新启动模型容器之后LivenessProbe失败的次数。如果您希望每10秒运行一次LivenessProbe，并且您的模型需要45秒才能响应，那么您可以将failure_threshold从默认值3增加到10。这意味着在连续10次LivenessProbe失败后，Kubernetes将重新启动您的容器。 timeout_seconds：LivenessProbe在放弃之前等待的时间间隔。你可以考虑的另一个选择是将默认时间从2秒增加到30秒。这将导致LivenessProbe在容器繁忙时等待30秒，但在容器不繁忙时，它会提前回复。

---

没有一个正确的配置设置需要修改，但这些设置的组合肯定会有助于在应答错误之前防止502副本关闭连接。

我认为将该参数更新到60k以上没有效果，虽然如果给定的值小于60k毫秒，它会减少超时。这似乎只是在AKS构造函数中，而不是在ACI ONE中。我认为将该参数更新到60k以上没有效果，但如果给定的值小于60k毫秒，它会减少超时。这似乎只是在AKS构造函数中，不是ACI展示你的yaml定义展示你 r yaml定义