如何使用AWS lambda在Sagemaker中计划ipnyb笔记本?

如何使用AWS lambda在Sagemaker中计划ipnyb笔记本?,r,aws-lambda,jupyter-notebook,amazon-sagemaker,R,Aws Lambda,Jupyter Notebook,Amazon Sagemaker,我需要安排AWS Lambda打开/运行Sagemaker内的Jupyter笔记本,每天生成一个csv文件 我已经创建了我的笔记本实例(我们称之为Model_v1)和Sagemaker内部所需的生命周期配置。我可以启动这个实例,在笔记本中运行代码(R),代码会写入我需要的CSV文件 我读过很多关于如何将Sagemaker与Lambda一起使用的帖子,但我并没有正式使用“培训工作”或“模型”/“端点”等。我只是希望Lambda这样做 1) 启动笔记本实例 2) 运行生成CSV的.ipnyb代码 如

我需要安排AWS Lambda打开/运行Sagemaker内的Jupyter笔记本,每天生成一个csv文件

我已经创建了我的笔记本实例(我们称之为Model_v1)和Sagemaker内部所需的生命周期配置。我可以启动这个实例,在笔记本中运行代码(R),代码会写入我需要的CSV文件

我读过很多关于如何将Sagemaker与Lambda一起使用的帖子,但我并没有正式使用“培训工作”或“模型”/“端点”等。我只是希望Lambda这样做 1) 启动笔记本实例 2) 运行生成CSV的.ipnyb代码


如果有更简单的方法让Sagemaker使用另一个工具(而不是lambda)每天运行一次此脚本,那么非常乐意更改

您可以使用以编程方式运行笔记本。演示了如何将造纸机依赖性引入lambda,但我从未尝试过。一个更干净的设置是将模型科学封装在docker容器中,就像这样。然后,您可以使用lambda函数从您选择的lambda兼容SDK启动培训作业(例如,
boto3
call,默认情况下安装在lambda中)

请注意,在与sagemaker兼容的docker容器中编写模型可以让您从使用您选择的语言的完整sagemaker体验中获益-这里使用R,包括但不限于:

  • 通过各种类型的硬件和网络配置以及多个SDK(包括但不限于,,,)进行培训作业编排
  • 贝叶斯超参数搜索
  • 硬件使用和算法输出的本机日志,可选的带有正则表达式的度量仪表板
  • 单击“部署到托管实时端点”(可选多可用性区域和自动缩放)
  • 本机元数据持久性(超参数、数据路径、工件、培训配置和持续时间等)和搜索

这个博客解释了这种情况

  • 启动python环境
  • 执行jupyter笔记本
  • 下载包含自动停止功能的AWS示例python脚本
  • 等一分钟。可根据需要增减
  • 创建cron作业以执行自动停止python脚本