Python AWS胶水搜索选项
我目前正在使用AWS Glue数据目录来组织我的数据库。一旦我建立了连接并发送了爬虫来收集信息,我就能够看到制定的元数据 一个很好的特性是能够在一个列名上搜索整个数据目录。例如,如果我的数据目录中有5个表,其中一个表恰好有字段年龄。我想看看那张桌子 我还想知道是否可以搜索AWS Glue数据目录表中每一列的注释字段Python AWS胶水搜索选项,python,rest,aws-glue,aws-glue-data-catalog,Python,Rest,Aws Glue,Aws Glue Data Catalog,我目前正在使用AWS Glue数据目录来组织我的数据库。一旦我建立了连接并发送了爬虫来收集信息,我就能够看到制定的元数据 一个很好的特性是能够在一个列名上搜索整个数据目录。例如,如果我的数据目录中有5个表,其中一个表恰好有字段年龄。我想看看那张桌子 我还想知道是否可以搜索AWS Glue数据目录表中每一列的注释字段 希望能得到一些帮助 您可以使用AWS Glue API实现这一点。例如,可以使用PythonSDK和方法检索特定数据库中表的所有元信息。请查看通过调用get_tables返回的响应语
希望能得到一些帮助 您可以使用AWS Glue API实现这一点。例如,可以使用PythonSDK和方法检索特定数据库中表的所有元信息。请查看通过调用get_tables返回的响应语法,然后只需对其进行解析,例如: 进口boto3 glue_client=bot3.客户端“glue” response=glue\u client.get\u表 数据库名称=“”“某些名称” 对于响应中的表['TableList']: columns=表['StorageDescriptor']['columns'] 对于列中的列: col_name=col['name'] col_comment=col['comment'] 在这里你可以搜索你需要的东西 注意:如果您有一个带有分区人工列的表,那么您将需要搜索所有这些列 列作为分区=表['PartitionKeys'] 对于列中的列作为分区: col_name=col['name'] col_comment=col['comment'] 在这里你可以搜索你需要的东西
非常感谢!不幸的是,没有一个api可以直接搜索评论,但这样做就可以了:只要您熟悉如何执行以下操作: