Amazon web services 如何使用气流计划sagemaker管道模型的再培训

Amazon web services 如何使用气流计划sagemaker管道模型的再培训,amazon-web-services,scheduled-tasks,airflow,Amazon Web Services,Scheduled Tasks,Airflow,我已经实现了sagemaker管道模型。特别是对于训练模型、构建管道模型并部署它的端到端笔记本,我遵循了示例笔记本 现在我想每天使用气流对整个管道进行再培训和部署,但我已经看到了只对单个sagemaker模型进行再培训和部署的可能性 有没有办法重新培训和部署整个管道?感谢SageMaker为用户提供了两种选择: 使用SageMaker Python SDK中的API生成气流中所有SageMaker操作符的输入。你链接的博客是这样的。例如,他们在SageMaker Python SDK中使用API

我已经实现了sagemaker管道模型。特别是对于训练模型、构建管道模型并部署它的端到端笔记本,我遵循了示例笔记本

现在我想每天使用气流对整个管道进行再培训和部署,但我已经看到了只对单个sagemaker模型进行再培训和部署的可能性


有没有办法重新培训和部署整个管道?感谢

SageMaker为用户提供了两种选择:

  • 使用SageMaker Python SDK中的API生成气流中所有SageMaker操作符的输入。你链接的博客是这样的。例如,他们在SageMaker Python SDK中使用API training_config,在Airflow中使用运算符SageMakerTrainingOperator

  • 使用Airflow提供的PythonOperator并编写Python代码来执行您想要的操作

  • 对于1,SageMaker只实现了与培训、调优、单模型部署和转换相关的API。因此,您正在使用管道模型,我认为它没有您想要的API

    但是对于2,如果你能用SageMaker在任何Python代码中完成你想要的东西。您应该能够将其调整为Python可调用函数,并使其与Python操作符一起工作。以下是SageMaker提供的这种培训示例:

    我认为您可以做类似的事情,使气流与您的管道模型一起工作