Amazon dynamodb 离子格式的雅典娜DDL?

Amazon dynamodb 离子格式的雅典娜DDL?,amazon-dynamodb,amazon-athena,Amazon Dynamodb,Amazon Athena,我正在尝试使用Athena查询最近添加的DynamoDB备份的导出到S3功能生成的一些文件 这是一种非常愚蠢的格式,基本上是字符串$ion\u 1\u 0,后跟json。前面不带引号的$ion\u 1\u 0字符串使数据无效json 我试着从以下位置使用Ion Serde: 但我明白了: 失败:执行错误,从org.apache.hadoop.hive.ql.exec.ddlstask返回代码1。无法验证serde:com.amazon.ionhiveserde.ionhiveserde 更新 实

我正在尝试使用Athena查询最近添加的DynamoDB备份的导出到S3功能生成的一些文件

这是一种非常愚蠢的格式,基本上是字符串
$ion\u 1\u 0
,后跟json。前面不带引号的
$ion\u 1\u 0
字符串使数据无效json

我试着从以下位置使用Ion Serde:

但我明白了:

失败:执行错误,从org.apache.hadoop.hive.ql.exec.ddlstask返回代码1。无法验证serde:com.amazon.ionhiveserde.ionhiveserde

更新


实际上格式比我想象的还要差。字段名不带引号。因此,即使去掉$ion前缀,它也不是非常有效的json。

ion是一种开源文本格式,是json的超集。您是否尝试过使用胶水转换您的ION文件?ION是支持的格式选项之一(用于输入):

本次QLDB研讨会在其示例中使用了ION,您可以探索cloudformation模板/yaml或部署工作流,并深入研究爬虫程序及其创建的作业,以获得一些想法:

查看ION cookbook了解更多信息:


规范:

离子是一种开源文本格式,是JSON的超集。您是否尝试过使用胶水转换您的ION文件?ION是支持的格式选项之一(用于输入):

本次QLDB研讨会在其示例中使用了ION,您可以探索cloudformation模板/yaml或部署工作流,并深入研究爬虫程序及其创建的作业,以获得一些想法:

查看ION cookbook了解更多信息:


规格:

使用胶水作为快速解决方案使用胶水作为快速解决方案
CREATE EXTERNAL TABLE mydb.mytable (
`myfields` string,
 ...
)
ROW FORMAT SERDE 'com.amazon.ionhiveserde.IonHiveSerDe'
LOCATION 's3:/.../dynamodb-export/AWSDynamoDB/01608775578817-a6944d97/data/'
TBLPROPERTIES ('has_encrypted_data'='true');