Amazon web services 如何在SageMaker上安排任务

我有一个关于SageMaker的笔记本，我想每天晚上运行。安排此任务的最佳方式是什么。有没有办法运行bash脚本并从SageMaker调度Cron作业？

我认为没有办法在SageMaker上调度任务。 笔记本更适合与SageMaker运行时交互。这更适合于培训和托管ML模型

我猜你每晚都想重新训练你的模特。有两种方法可以实现这一点，在其他地方重新训练模型，然后上传到S3，每晚使用外部脚本重新创建docker容器。 或

---

提供您自己的docker容器，其中计划了一个cron作业。把它交给SageMaker部署

您可以访问AWS控制台Jupyter页面中的笔记本终端（在右上角，选择new-->terminal）。如果cron对您来说足够了，那么其中的

crontab

可能就足够了

---

如果你有大而昂贵的工作，可以在集装箱中运行，也考虑AWS批处理。例如，您可以尝试对所需实例使用现货定价。批处理作业可以通过Cloudwatch事件（例如cron触发器）启动。

Amazon SageMaker是一组API，可以帮助完成各种机器学习和数据科学任务。可以从各种源（如CLI）调用这些API，或者特别是从schedule AWS Lambda函数调用这些API（有关文档，请参阅此处：）

Amazon SageMaker的主要部分是笔记本实例、培训和调整作业以及用于实时预测的模型托管。每一个都有您可能想要的不同类型的计划。最受欢迎的是：

• 停止和启动笔记本实例-由于笔记本实例用于交互式ML模型开发，因此您实际上不需要在夜间或周末运行它们。您可以安排Lambda函数在工作日结束时（例如，晚上8点）调用API，并在早上调用API。请注意，您还可以在笔记本实例上运行crontab（从Jupyter界面打开本地终端后）
• 刷新ML模型-根据随时流入系统的新数据自动重新训练模型，这是SageMaker更容易解决的常见问题。从计划的Lambda函数（甚至从监视现有模型性能的函数）调用API，指向旧数据和新数据所在的S3存储桶，可以将其部署到

-----更新（感谢@snat2100评论）-----

• 创建和删除实时端点-如果您的实时端点不需要全天候（例如，在工作日和工作时间为公司内部用户提供服务），您也可以在早上和晚上使用

  ---

截至2020年年中，AWS提供了多种选项，可将笔记本电脑作为cron作业运行。它使用Papermill在每次运行时注入参数，您还可以使用CLI按需运行笔记本电脑。
你可以： （1） 直接使用AWS API或CLI；（2） 使用便利软件包，或（3）使用Jupyter实验室扩展

---

请参阅和的示例。

这基本上就是我想做的。我有一个模型。每天，我都想用docker图像来启动一台机器，并处理新数据的天数，以进行预测。没有关于这方面的文档。@Kieth，没有关于这方面的文档，因为SageMaker更适合托管和培训您的模型。不自动化工作流程。我只需要添加一个python脚本，该脚本将在新数据上重新训练模型，运行一些测试，然后使用新版本号将其上传到S3。将我的SageMaker设置为采用最新版本。每次上传模型的新版本时，SageMaker都会完成当前请求的服务，并加载新模型以服务其余请求。希望这能有所帮助。我不知道你所说的自动化工作流程是什么意思。我想为批量预测建立一个经过训练的模型。由于明显的原因（时间、资源、稳定性），每次都保留不是一个好主意。这是最常见的部署模型，不受支持。Keith中为+1。如果您需要安排这样的培训集，那么最好在EC2或ECS中使用计划任务。正如前面提到的，SM的要点是以可伸缩的方式在Jupyter上进行交互。如果您需要产品化，最好使用源代码设置repo，设置Docker/Kubernetes并将其放入orchestrator，这样不仅可以更好地安排时间，还可以节省大量的操作系统计算资源，并具有适当的代码版本控制（Jupyter笔记本很难查看）还有可调试性，您可以应用适当的CI/CD。你好，伙计，您认为我们可以在模型端点上做同样的事情（创建和删除）吗？我正在使用ApiGateway在Webapp上公开一个端点，我只想在指定的小时范围内使用它。当然@snat2100。如果您不需要一直使用端点，那么删除它并在第二天创建它将为您节省大量资金。您还可以考虑使用其他服务，如FARGATE来托管您的码头工人图像。请记住，创建端点需要几分钟的时间。