Amazon web services 如何在AWS Glue中将字符串转换为日期?
当我从S3 bucket中的Glue on parquet/csv文件运行crawler时,它将日期作为字符串。我在“编辑模式”中进行了更改,并将其设置为“日期”。不仅是日期,而且不改变编辑模式中的任何数据类型。当我从雅典娜发出查询“Amazon web services 如何在AWS Glue中将字符串转换为日期?,amazon-web-services,amazon-s3,parquet,aws-glue,amazon-athena,Amazon Web Services,Amazon S3,Parquet,Aws Glue,Amazon Athena,当我从S3 bucket中的Glue on parquet/csv文件运行crawler时,它将日期作为字符串。我在“编辑模式”中进行了更改,并将其设置为“日期”。不仅是日期,而且不改变编辑模式中的任何数据类型。当我从雅典娜发出查询“从parque\u sales选择订单日期””时,错误是: 配置单元错误数据:拼花地板中的字段顺序日期类型二进制为 与表架构中定义的日期类型不兼容 我还尝试在Glue studio中更改模式,结果是一样的 提前谢谢!请帮忙 似乎您有一些文件,其中日期存储为拼花地板中
从parque\u sales选择订单日期”
”时,错误是:
配置单元错误数据:拼花地板中的字段顺序日期类型二进制为
与表架构中定义的日期类型不兼容
我还尝试在Glue studio中更改模式,结果是一样的
提前谢谢!请帮忙 似乎您有一些文件,其中日期存储为拼花地板中的字符串,而不是日期。爬虫程序仍将这些作为字符串值接收,并在将源架构与定义的架构进行比较时失败 为了避免这个问题,您应该在athena查询中使用显式转换。大概是这样的:
select date_parse(datestring,'%Y-%m-%d %h:%i:%s')
您是否使用GLUE客户端API调用此服务?我使用GLUE crawler将文件的元数据保存在GLUE目录中的S3存储桶上,并使用Athena对GLUE表运行查询。但在Glue数据库和Glue studio中编辑模式,这是amazon上的新服务,但不起作用。似乎自定义转换会起作用,但由于胶水生成了自己的脚本,我感到困惑。我尝试了从city选择日期解析(上次更新,%Y-%m-%d%h:%I:%s);它给出的错误类似于无效的函数参数:无效格式:“2006-02-15 04:45:25”