Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 AWS-EMR-S3DISTCP-AWS是否对s3操作收费?_Amazon S3_Amazon Emr_S3distcp_Aws Billing - Fatal编程技术网

Amazon s3 AWS-EMR-S3DISTCP-AWS是否对s3操作收费?

Amazon s3 AWS-EMR-S3DISTCP-AWS是否对s3操作收费?,amazon-s3,amazon-emr,s3distcp,aws-billing,Amazon S3,Amazon Emr,S3distcp,Aws Billing,我正在查看s3distcp的文档,但我找不到任何明确的网站,其中提到了每项行动的成本。这是一个示例场景: 我有一个装满10000件物品的桶。 具有3个实例的EMR集群将用于执行s3distcp。 s3distcp已启用-deleteOnSuccess选项。 源和目标存储桶以及EMR位于同一帐户和地区。 问题是: 除了基于实例类型、运行时间等的EMR使用之外,s3操作是否还有额外的成本,即如果我移动了所有10K对象,是否意味着10K拷贝请求?或者账单将仅与EMR成本相关? AWS S3成本将作为独

我正在查看s3distcp的文档,但我找不到任何明确的网站,其中提到了每项行动的成本。这是一个示例场景:

我有一个装满10000件物品的桶。 具有3个实例的EMR集群将用于执行s3distcp。 s3distcp已启用-deleteOnSuccess选项。 源和目标存储桶以及EMR位于同一帐户和地区。 问题是:

除了基于实例类型、运行时间等的EMR使用之外,s3操作是否还有额外的成本,即如果我移动了所有10K对象,是否意味着10K拷贝请求?或者账单将仅与EMR成本相关?
AWS S3成本将作为独立于AWS EMR成本的行项目计费,因此除了EMR费用外,您还应考虑S3成本。此场景中的S3成本将包括请求的费用,可能还包括数据传输的费用


也就是说,与EMR群集的成本相比,相关的S3费用可能微不足道。

感谢您的回答,我看到了该文档站点,但在某些情况下仍然不清楚。让我们假设一下:我在emr上有一个笔记本,同一个区域,同一个帐户,它唯一能做的就是得到前10个对象的列表。根据输入1K对象的内存火花负载,每次运行这段代码时,我们都会收到10K请求?我真的不这么认为。我不知道你的笔记本具体在做什么,所以很难对这个场景发表评论,但你会对向S3服务发出的任何和所有请求收取费用,不管请求的数量有多大。别担心,我只是想解释一个类似的场景。我了解通过cli或任何其他外部资源(如邮递员、web应用程序等)执行的部分请求。但当我们运行map reduce作业时,我意识到它在emr内部对hdfs执行临时复制,然后将其移动到dest bucket。值得关注的是,在aws站点上直接推荐使用此工具进行大量数据传输,因此收费或至少以与简单脚本相同的方式进行收费是没有意义的。我非常感谢你的反馈和评论