超时问题python aws lambda数据从s3复制到红移 据我所知,如果函数超过3秒,AWSλ将被认为是失败的。 def copy_to_redshift(cur, key): sql = ''' copy <table_name> from '<s3 bucket url>' credentials 'aws_access_key_id=<..>;aws_secret_access_key=<..>' json 'auto' ''' % (key) cur.execute(sql)

超时问题python aws lambda数据从s3复制到红移 据我所知,如果函数超过3秒,AWSλ将被认为是失败的。 def copy_to_redshift(cur, key): sql = ''' copy <table_name> from '<s3 bucket url>' credentials 'aws_access_key_id=<..>;aws_secret_access_key=<..>' json 'auto' ''' % (key) cur.execute(sql),python,amazon-web-services,aws-lambda,Python,Amazon Web Services,Aws Lambda,如何降低此性能 我的s3文件大小为7M,有50000行 幸运的是,即使lambda作为fail完成,我的红移也能成功加载,我认为函数不需要等到复制sql 是否可以只提供sql和terminate函数?AWS Lambda的最大超时时间为5分钟。如果您的处理过程没有在3秒内完成,您可以尝试逐渐增加该时间,并查看Lambda的最佳超时时间(显然最多为5分钟) 关于“如何降低此性能”,您可以尝试增加Lambda的内存占用。这个记忆控制旋钮可以做两件事 增加Lambda的可用内存(RAM) 与内存成比例

如何降低此性能

我的s3文件大小为7M,有50000行

幸运的是,即使lambda作为fail完成,我的红移也能成功加载,我认为函数不需要等到复制sql


是否可以只提供sql和terminate函数?

AWS Lambda的最大超时时间为5分钟。如果您的处理过程没有在3秒内完成,您可以尝试逐渐增加该时间,并查看Lambda的最佳超时时间(显然最多为5分钟)

关于“如何降低此性能”,您可以尝试增加Lambda的内存占用。这个记忆控制旋钮可以做两件事

  • 增加Lambda的可用内存(RAM)
  • 与内存成比例地增加Lambda可用的CPU功率
  • 以上两种方法的结合有望解决这个问题


    如果Lambda在超时之前发出Redshift copy命令,则无论Lambda超时如何,该Redshift操作都将成功。

    AWS Lambda的最大超时时间为5分钟。如果您的处理过程没有在3秒内完成,您可以尝试逐渐增加该时间,并查看Lambda的最佳超时时间(显然最多为5分钟)

    关于“如何降低此性能”,您可以尝试增加Lambda的内存占用。这个记忆控制旋钮可以做两件事

  • 增加Lambda的可用内存(RAM)
  • 与内存成比例地增加Lambda可用的CPU功率
  • 以上两种方法的结合有望解决这个问题

    是的,如果Lambda在超时之前发出Redshift copy命令,则无论Lambda超时情况如何,该Redshift操作都将成功
    Task timed out after 3.00 seconds