Amazon s3 在python中使用s3 select解析多个拼花地板文件?
我正在尝试使用boto3从单个S3 bucket子文件夹读取多个拼花文件 我用python读取单个csv文件没有问题,但我以前无法让它与多个文件读取一起工作 我以前看到的答案是aws不支持这一点。然而,据我所知,该功能已于2018年底实施 那么,有没有办法使用我的工作代码(如下所示)为相关文件夹中的所有拼花地板文件运行s3Amazon s3 在python中使用s3 select解析多个拼花地板文件?,amazon-s3,parquet,Amazon S3,Parquet,我正在尝试使用boto3从单个S3 bucket子文件夹读取多个拼花文件 我用python读取单个csv文件没有问题,但我以前无法让它与多个文件读取一起工作 我以前看到的答案是aws不支持这一点。然而,据我所知,该功能已于2018年底实施 那么,有没有办法使用我的工作代码(如下所示)为相关文件夹中的所有拼花地板文件运行s3select语句,即从所有文件中选择所有行 bucket中工作子文件夹中的文件: _success file1.snapy.parquet file2.snapy.parque
select
语句,即从所有文件中选择所有行
bucket中工作子文件夹中的文件:
_success
file1.snapy.parquet
file2.snapy.parquet
python代码:
response = s3.select_object_content(
Bucket='somebucket',
Key= 'pathtosubfolder',
ExpressionType='SQL', <br>
InputSerialization = {'Parquet': {}},
Expression="select * from s3object s ",
OutputSerialization = {'CSV': {}},
)
response=s3.选择对象内容(
Bucket='somebucket',
键='pathtosubfolder',
ExpressionType='SQL',
InputSerialization={'Parquet':{},
Expression=“从S3S对象中选择*”,
OutputSerialization={'CSV':{},
)
我期待sql语句的结果,但是我得到:
[ERROR]NoSuchKey:调用
SelectObjectContent操作:指定的键不存在。
如果要在S3中查询拼花地板格式对象的集合,可能需要了解一下 雅典娜是完全管理的服务