Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 在python中使用s3 select解析多个拼花地板文件?_Amazon S3_Parquet - Fatal编程技术网

Amazon s3 在python中使用s3 select解析多个拼花地板文件?

Amazon s3 在python中使用s3 select解析多个拼花地板文件?,amazon-s3,parquet,Amazon S3,Parquet,我正在尝试使用boto3从单个S3 bucket子文件夹读取多个拼花文件 我用python读取单个csv文件没有问题,但我以前无法让它与多个文件读取一起工作 我以前看到的答案是aws不支持这一点。然而,据我所知,该功能已于2018年底实施 那么,有没有办法使用我的工作代码(如下所示)为相关文件夹中的所有拼花地板文件运行s3select语句,即从所有文件中选择所有行 bucket中工作子文件夹中的文件: _success file1.snapy.parquet file2.snapy.parque

我正在尝试使用boto3从单个S3 bucket子文件夹读取多个拼花文件

我用python读取单个csv文件没有问题,但我以前无法让它与多个文件读取一起工作

我以前看到的答案是aws不支持这一点。然而,据我所知,该功能已于2018年底实施

那么,有没有办法使用我的工作代码(如下所示)为相关文件夹中的所有拼花地板文件运行s3
select
语句,即从所有文件中选择所有行

bucket中工作子文件夹中的文件:

_success
file1.snapy.parquet
file2.snapy.parquet
python代码:

response = s3.select_object_content(
            Bucket='somebucket',
            Key= 'pathtosubfolder',
            ExpressionType='SQL', <br>
            InputSerialization = {'Parquet': {}},
            Expression="select * from s3object s ",
            OutputSerialization = {'CSV': {}},
            )
response=s3.选择对象内容(
Bucket='somebucket',
键='pathtosubfolder',
ExpressionType='SQL',
InputSerialization={'Parquet':{}, Expression=“从S3S对象中选择*”, OutputSerialization={'CSV':{}, )
我期待sql语句的结果,但是我得到:

[ERROR]NoSuchKey:调用
SelectObjectContent操作:指定的键不存在。


如果要在S3中查询拼花地板格式对象的集合,可能需要了解一下

雅典娜是完全管理的服务