Amazon web services pyarrow as lambda层

Amazon web services pyarrow as lambda层,amazon-web-services,aws-lambda,aws-lambda-layers,Amazon Web Services,Aws Lambda,Aws Lambda Layers,我需要帮助,以便将pyarrow作为lambda函数的lambda层。 我正在尝试读取/写入拼花地板文件,我发现以下错误, “errorMessage”:“找不到可用的引擎;尝试使用:'pyarrow'、'fastparquet'。\n拼花支持需要使用yarrow或fastparquet” 我用下面的命令在我的ec2中安装pyarrow来创建图层, pip3安装pyarrow-t build/python/lib/python3.7/site-packages/--system 但是zip文件的

我需要帮助,以便将pyarrow作为lambda函数的lambda层。 我正在尝试读取/写入拼花地板文件,我发现以下错误, “errorMessage”:“找不到可用的引擎;尝试使用:'pyarrow'、'fastparquet'。\n拼花支持需要使用yarrow或fastparquet”

我用下面的命令在我的ec2中安装pyarrow来创建图层, pip3安装pyarrow-t build/python/lib/python3.7/site-packages/--system

但是zip文件的创建空间大于300MB,因此我不能将其作为lambda层

任何建议或解决方案


谢谢,

首先,所有的包都需要放在一个名为python的目录中,不要多,不要少,你可以压缩整个python目录并上传到lambda。 其次,熊猫和皮亚罗相当大。我确实在一个lambda函数中使用了这两个包,没有任何问题,但我担心您可能需要将这两个包作为两个层进行分离,以使其正常工作。不要使用fastparquet,它太大,超过了lambda的250MB限制。

试试下面的帖子,我还通过AWS sam cli提供了一个替代答案。