Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services S3指标差异巨大——Cloudwatch vs AWS S3 CLI vs UI';获取大小';_Amazon Web Services_Amazon S3_Amazon Cloudwatch - Fatal编程技术网

Amazon web services S3指标差异巨大——Cloudwatch vs AWS S3 CLI vs UI';获取大小';

Amazon web services S3指标差异巨大——Cloudwatch vs AWS S3 CLI vs UI';获取大小';,amazon-web-services,amazon-s3,amazon-cloudwatch,Amazon Web Services,Amazon S3,Amazon Cloudwatch,我有一个bucket,它在S3管理控制台/CloudWatch和S3命令行工具之间具有非常不同的总大小和对象数量度量 S3管理控制台度量屏幕 BucketSizeBytes:标准存储空间:3.2TB 物体数目:172000 S3管理控制台-获取大小对话框 总尺寸:264.0 GiB 对象总数:127030 Cloudwatch: BucketSizeBytes:3.55TB 物体数目:172000 命令行工具 aws s3 ls --summarize --human-readabl

我有一个bucket,它在S3管理控制台/CloudWatch和S3命令行工具之间具有非常不同的总大小和对象数量度量

S3管理控制台度量屏幕

  • BucketSizeBytes:标准存储空间:3.2TB
  • 物体数目:172000
S3管理控制台-获取大小对话框

  • 总尺寸:264.0 GiB
  • 对象总数:127030
Cloudwatch:

  • BucketSizeBytes:3.55TB
  • 物体数目:172000
命令行工具

aws s3 ls --summarize --human-readable --recursive s3://mybucket.com
  • 总尺寸:264.0 GiB
  • 对象总数:127030
命令行工具和S3管理控制台-获取大小对话框正在返回我所期望的结果

我们是根据更高的CloudWatch统计数据计费的

如果它们很接近,我不会感到烦恼,但Cloudwatch报告的StorageSize接近CLI工具的15倍

S3存储桶上没有复制

有以下生命周期策略:

  • 清除不完整的多部分上载
  • 向冰川发送文件+1年
  • 一年后永久删除以前的版本
版本控制已经打开,但我很确定它没有被使用;i、 e.文件只上传过一次。我测试了一些随机文件以确认,它们都只有一个最新版本可用。我很高兴在bucket设置中关闭此功能,但我知道这不会“删除”旧版本(如果存在)

我也不相信这是因为冰川存储的文件,因为我最近才制定了这个生命周期策略,而且在这之前就存在大小不匹配的问题

考虑到S3管理控制台UI>Overview>Select all folders>Actions>Get Size reports与CLI工具264GB相同,我感到非常困惑

因此,在UI中选择所有文件服务器/文件夹返回264GB,但指标返回3.2TB

谁能告诉我这里发生了什么事,我怎样才能把它清理干净! 谢谢
Rob

这是由3TB的旧版本文件造成的;但整个目录已被删除,因此未显示在UI中

当我交换UI以显示版本时,删除的文件夹出现了,然后在其中我可以看到删除文件的所有旧版本

以下CLI语句帮助我确认它是由版本控制引起的:

aws s3api list-object-versions --bucket mybucker.com --query 'Versions[*].[Size,Size]' --output text  | awk '{s+=$1} END {printf "%.0f", s}'

expexted方法提供最新对象的总大小,其他方法包含较旧的版本。您可能会有些困惑。@Lamanus,我也这么认为,但正如前面提到的,版本控制并没有使用,根据S3UI,所有文件都只有一个最新版本。有没有一种方法可以清除任何以前版本的文件,作为三重检查?试试这个@Lamanus,谢谢-原来有3TB的旧版本文件;但整个目录已被删除,因此未显示在UI中。我的错。谢谢你帮我看到光明。现在已经永久删除了这些已删除的旧版本:-)我们如何在上运行windows@DJ_Stuffy_K在谷歌上快速搜索“Windows上的AWS CLI”可以获得您需要的所有信息;例如