Amazon dynamodb 离子格式的雅典娜DDL?
我正在尝试使用Athena查询最近添加的DynamoDB备份的导出到S3功能生成的一些文件 这是一种非常愚蠢的格式,基本上是字符串Amazon dynamodb 离子格式的雅典娜DDL?,amazon-dynamodb,amazon-athena,Amazon Dynamodb,Amazon Athena,我正在尝试使用Athena查询最近添加的DynamoDB备份的导出到S3功能生成的一些文件 这是一种非常愚蠢的格式,基本上是字符串$ion\u 1\u 0,后跟json。前面不带引号的$ion\u 1\u 0字符串使数据无效json 我试着从以下位置使用Ion Serde: 但我明白了: 失败:执行错误,从org.apache.hadoop.hive.ql.exec.ddlstask返回代码1。无法验证serde:com.amazon.ionhiveserde.ionhiveserde 更新 实
$ion\u 1\u 0
,后跟json。前面不带引号的$ion\u 1\u 0
字符串使数据无效json
我试着从以下位置使用Ion Serde:
但我明白了:
失败:执行错误,从org.apache.hadoop.hive.ql.exec.ddlstask返回代码1。无法验证serde:com.amazon.ionhiveserde.ionhiveserde
更新
实际上格式比我想象的还要差。字段名不带引号。因此,即使去掉$ion前缀,它也不是非常有效的json。ion是一种开源文本格式,是json的超集。您是否尝试过使用胶水转换您的ION文件?ION是支持的格式选项之一(用于输入): 本次QLDB研讨会在其示例中使用了ION,您可以探索cloudformation模板/yaml或部署工作流,并深入研究爬虫程序及其创建的作业,以获得一些想法: 查看ION cookbook了解更多信息:
规范:离子是一种开源文本格式,是JSON的超集。您是否尝试过使用胶水转换您的ION文件?ION是支持的格式选项之一(用于输入): 本次QLDB研讨会在其示例中使用了ION,您可以探索cloudformation模板/yaml或部署工作流,并深入研究爬虫程序及其创建的作业,以获得一些想法: 查看ION cookbook了解更多信息:
规格:使用胶水作为快速解决方案使用胶水作为快速解决方案
CREATE EXTERNAL TABLE mydb.mytable (
`myfields` string,
...
)
ROW FORMAT SERDE 'com.amazon.ionhiveserde.IonHiveSerDe'
LOCATION 's3:/.../dynamodb-export/AWSDynamoDB/01608775578817-a6944d97/data/'
TBLPROPERTIES ('has_encrypted_data'='true');