Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/297.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
计划在内存使用率高的AWS上运行的Python脚本_Python_Amazon Web Services - Fatal编程技术网

计划在内存使用率高的AWS上运行的Python脚本

计划在内存使用率高的AWS上运行的Python脚本,python,amazon-web-services,Python,Amazon Web Services,我有一个python脚本,需要计划每天运行一次。它将占用大约4-6GB的内存(由于大量的数据帧操作)。我将使用AWS,我想知道处理此类任务的最佳实践是什么。在部署之前将其放入docker这样的容器中是一个好主意吗?因为您的内存需要在ram上,所以我建议使用带有CloudWatch事件的 但是,为了最大限度地降低成本,您不想让此EC2整天都在运行,因此您可以在CloudWatch和EC2之间使用两个lambda函数: 一旦daily触发器运行并启动ec2实例 使用Python代码中的触发器停止ec

我有一个python脚本,需要计划每天运行一次。它将占用大约4-6GB的内存(由于大量的数据帧操作)。我将使用AWS,我想知道处理此类任务的最佳实践是什么。在部署之前将其放入docker这样的容器中是一个好主意吗?

因为您的内存需要在ram上,所以我建议使用带有CloudWatch事件的

但是,为了最大限度地降低成本,您不想让此EC2整天都在运行,因此您可以在CloudWatch和EC2之间使用两个lambda函数:

  • 一旦daily触发器运行并启动ec2实例
  • 使用Python代码中的触发器停止ec2实例,该触发器在ec2实例完成后运行

  • 如果这没有多大意义,请让我知道,我会尝试用图表详细说明。

    内存是否需要放在RAM上,还是更像是您访问并从中获取部分数据的数据库?它需要放在Raminesting上。我在想,在需要时使用jenkins创建runner job来启动从属ec2实例不是更有效吗?@sjishan这也可以,但假设这个实例需要一直打开,您将为包含jenkins的ec2付费。这一点很好。您是否可以用图表详细说明您的解决方案?那将非常有帮助。谢谢。@Naquib Ihab在aws亚马逊网站上找到了这个。我想知道如何让lambda不仅启动ec2实例,还运行一组python脚本,或者说运行一组python函数的bash脚本。