Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/rest/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python AWS胶水搜索选项_Python_Rest_Aws Glue_Aws Glue Data Catalog - Fatal编程技术网

Python AWS胶水搜索选项

Python AWS胶水搜索选项,python,rest,aws-glue,aws-glue-data-catalog,Python,Rest,Aws Glue,Aws Glue Data Catalog,我目前正在使用AWS Glue数据目录来组织我的数据库。一旦我建立了连接并发送了爬虫来收集信息,我就能够看到制定的元数据 一个很好的特性是能够在一个列名上搜索整个数据目录。例如,如果我的数据目录中有5个表,其中一个表恰好有字段年龄。我想看看那张桌子 我还想知道是否可以搜索AWS Glue数据目录表中每一列的注释字段 希望能得到一些帮助 您可以使用AWS Glue API实现这一点。例如,可以使用PythonSDK和方法检索特定数据库中表的所有元信息。请查看通过调用get_tables返回的响应语

我目前正在使用AWS Glue数据目录来组织我的数据库。一旦我建立了连接并发送了爬虫来收集信息,我就能够看到制定的元数据

一个很好的特性是能够在一个列名上搜索整个数据目录。例如,如果我的数据目录中有5个表,其中一个表恰好有字段年龄。我想看看那张桌子

我还想知道是否可以搜索AWS Glue数据目录表中每一列的注释字段


希望能得到一些帮助

您可以使用AWS Glue API实现这一点。例如,可以使用PythonSDK和方法检索特定数据库中表的所有元信息。请查看通过调用get_tables返回的响应语法,然后只需对其进行解析,例如:

进口boto3 glue_client=bot3.客户端“glue” response=glue\u client.get\u表 数据库名称=“”“某些名称” 对于响应中的表['TableList']: columns=表['StorageDescriptor']['columns'] 对于列中的列: col_name=col['name'] col_comment=col['comment'] 在这里你可以搜索你需要的东西 注意:如果您有一个带有分区人工列的表,那么您将需要搜索所有这些列

列作为分区=表['PartitionKeys'] 对于列中的列作为分区: col_name=col['name'] col_comment=col['comment'] 在这里你可以搜索你需要的东西
非常感谢!不幸的是,没有一个api可以直接搜索评论,但这样做就可以了:只要您熟悉如何执行以下操作: