Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/12.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon ec2 如何将大数据公共数据集导入AWS?_Amazon Ec2_Amazon Web Services_Amazon Simpledb_Amazon Ebs_Bigdata - Fatal编程技术网

Amazon ec2 如何将大数据公共数据集导入AWS?

Amazon ec2 如何将大数据公共数据集导入AWS?,amazon-ec2,amazon-web-services,amazon-simpledb,amazon-ebs,bigdata,Amazon Ec2,Amazon Web Services,Amazon Simpledb,Amazon Ebs,Bigdata,加载亚马逊列出的任何公共数据集(http://aws.amazon.com/datasets)将占用大量资源和带宽。将它们导入AWS以便快速开始使用的最佳方法是什么?您需要使用公共数据集的快照ID创建一个新的EBS实例。这样你就不需要支付转学费了 但要小心,一些数据集仅在一个区域可用,很可能由类似于此的注释表示。然后,您应该在同一地区注册EC2实例 这些数据集位于美国东部1区。如果您从其他地区处理这些数据,将收取数据传输费 仅供参考:SDBExplorer使用多线程BatchPutAttribu

加载亚马逊列出的任何公共数据集(http://aws.amazon.com/datasets)将占用大量资源和带宽。将它们导入AWS以便快速开始使用的最佳方法是什么?

您需要使用公共数据集的快照ID创建一个新的EBS实例。这样你就不需要支付转学费了

但要小心,一些数据集仅在一个区域可用,很可能由类似于此的注释表示。然后,您应该在同一地区注册EC2实例

这些数据集位于美国东部1区。如果您从其他地区处理这些数据,将收取数据传输费


仅供参考:SDBExplorer使用多线程BatchPutAttributes实现高写入吞吐量,同时将批量数据上载到Amazon SimpleDB。SDB Explorer允许多个并行上载。如果您有带宽,您可以通过在并行队列中同时运行多个BatchPutAttributes进程来充分利用带宽,从而减少处理时间。SDBExplorer支持将数据从MySql和CSV导入Amazon SimpleDB

披露:我是SDBExplorer的开发者