Amazon web services 通过athena查询存储在s3中的csv表

Amazon web services 通过athena查询存储在s3中的csv表,amazon-web-services,apache-spark,amazon-s3,amazon-athena,Amazon Web Services,Apache Spark,Amazon S3,Amazon Athena,最近,我们开始将备份存储在aws s3中。我们需要通过aws athena查询所有csv文件。 我们试图一个接一个地插入表,但时间太长,数据量相当大。是否有我们可以使用的API或其他已经设置好的API? 我们打算用spark做些什么,但也许有一个更简单的方法,或者已经做过的事情。 谢谢您只需在具有所需属性的CSV文件之上创建一个外部表即可 参考: 您还可以使用Glue Crawler并将其配置为自动填充表 参考: 有不同的AWS SDK()可用于自动化您的任务,如将文件上载到S3、创建athen

最近,我们开始将备份存储在aws s3中。我们需要通过aws athena查询所有csv文件。 我们试图一个接一个地插入表,但时间太长,数据量相当大。是否有我们可以使用的API或其他已经设置好的API? 我们打算用spark做些什么,但也许有一个更简单的方法,或者已经做过的事情。
谢谢

您只需在具有所需属性的CSV文件之上创建一个外部表即可

参考:

您还可以使用Glue Crawler并将其配置为自动填充表

参考:


有不同的AWS SDK()可用于自动化您的任务,如将文件上载到S3、创建athena表或通过glue clawler对表进行编目

您只需在具有所需属性的CSV文件之上创建一个外部表即可

参考:

您还可以使用Glue Crawler并将其配置为自动填充表

参考:


有不同的AWS SDK()可用于自动化您的任务,如将文件上载到S3、创建athena表或通过glue clawler对表进行编目

我们试图一个接一个地插入表
-这是什么意思?逐个创建表?雅典娜不支持
INSERT
我们试图一个接一个地插入表
-这是什么意思?逐个创建表?雅典娜不支持
INSERT