Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/database/8.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Database 将数据从s3加载到aurora-大文件_Database_Amazon S3_Amazon Rds_Amazon Aurora - Fatal编程技术网

Database 将数据从s3加载到aurora-大文件

Database 将数据从s3加载到aurora-大文件,database,amazon-s3,amazon-rds,amazon-aurora,Database,Amazon S3,Amazon Rds,Amazon Aurora,我目前正在使用athena来处理和执行ETL,从中我得到了包含要加载到aurora rds表中的整个数据集的csv文件。我发现从S3加载数据是加载数据的一个选项。因为这些文件非常大,大约10 GB,包含4-5百万行数据。aurora能否处理来自同一文件的如此巨大的数据负载,或者在此过程中是否会出现超时。如有必要,如何使这些过程更有效 > P>您应该考虑使用AWS数据库迁移服务。一旦您设置了迁移,AWS DMS将完全管理工作,并将处理可能遇到的任何超时或故障 AWS DMS允许您使用多个源()将数

我目前正在使用athena来处理和执行ETL,从中我得到了包含要加载到aurora rds表中的整个数据集的csv文件。我发现从S3加载数据是加载数据的一个选项。因为这些文件非常大,大约10 GB,包含4-5百万行数据。aurora能否处理来自同一文件的如此巨大的数据负载,或者在此过程中是否会出现超时。如有必要,如何使这些过程更有效

> P>您应该考虑使用AWS数据库迁移服务。一旦您设置了迁移,AWS DMS将完全管理工作,并将处理可能遇到的任何超时或故障

AWS DMS允许您使用多个源()将数据加载到多个目标()

AWS DMS可以作为一次性任务完成,也可以作为持续数据复制的初始负载完成

迁移过程中发生的对源数据库的所有数据更改都会连续复制到目标数据库


(From)

你试过了吗?是否有效?请使用AWS数据库迁移服务进行此操作@MatthewPope亚马逊DMS是否允许从S3传输到极光?这也是一个日常过程,不是一个简单的过程situation@JohnRotenstein是的,它确实起作用了!这是最有效的方法吗。我不希望它在将来失败——如果有其他有效的方法我应该使用的话,我很乐意听到它。