Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services amazon s3访问日志文件值不正确»已发送字节«_Amazon Web Services_Amazon S3_Logfile_Access Log_Logfile Analysis - Fatal编程技术网

Amazon web services amazon s3访问日志文件值不正确»已发送字节«

Amazon web services amazon s3访问日志文件值不正确»已发送字节«,amazon-web-services,amazon-s3,logfile,access-log,logfile-analysis,Amazon Web Services,Amazon S3,Logfile,Access Log,Logfile Analysis,通过分析我们的S3访问日志文件,我注意到S3访问日志文件S3stat和自己的日志文件分析中的»每月数据传输输出«的值与账单中的值有很大不同 现在我做了一个测试,从我们的一个存储桶下载文件,看起来访问日志文件不正确 2015年2月3日,我在我们的存储桶上上传了一个zip文件,然后通过两个不同的互联网连接成功下载了完整的文件。 一天后的2015年2月4日,我分析了日志文件。不幸的是,这两个条目的值都是-at字节。 亚马逊»服务器访问日志格式«说明: »发送的响应字节数,不包括HTTP协议开销,或者-

通过分析我们的S3访问日志文件,我注意到S3访问日志文件S3stat和自己的日志文件分析中的»每月数据传输输出«的值与账单中的值有很大不同

现在我做了一个测试,从我们的一个存储桶下载文件,看起来访问日志文件不正确

2015年2月3日,我在我们的存储桶上上传了一个zip文件,然后通过两个不同的互联网连接成功下载了完整的文件。 一天后的2015年2月4日,我分析了日志文件。不幸的是,这两个条目的值都是-at字节。 亚马逊»服务器访问日志格式«说明: »发送的响应字节数,不包括HTTP协议开销,或者-如果为零。«

相应的条目如下所示:

桶主桶[2015年2月3日:10:28:41+0000]远程IP- RequestID REST.GET.OBJECT Download.zip GET/Bucket/Download.zip HTTP /1.1200--760 542 2228865159 58-Mozilla/5.0 Windows NT 6.1; WOW64;rv:35.0 Gecko/20100101 Firefox/35.0-

铲斗所有者铲斗[2015年2月3日:10:28:57+0000]远程IP- RequestID REST.GET.OBJECT Download.zip GET/Bucket/Download.zip HTTP /1.1200--86002822886515923-Mozilla/5.0WindowsNT 6.1; WOW64;rv:35.0 Gecko/20100101 Firefox/35.0-

如您所见,这两个日志都有相当长的连接持续时间»总时间«:0:12:40和0:14:20

然后,根据这些发现,我检查了2014年12月我们主要桶的日志文件。在2332个相关条目中,我们的bucket上的所有ZIP文件中,我发现860个条目存在此错误

因此,AmazonS3访问日志文件似乎有缺陷,对我们的分析毫无用处

有人能帮我吗?我是否犯了错误?如果是,如何可靠地评估这些日志文件

谢谢
彼得

亚马逊经过两个月的调查,看起来亚马逊已经解决了这个问题。我的第一次测试时间为13.03。至16时03分。我们的S3stat分析从2015年3月12日起在“每日带宽”方面有了巨大的飞跃,现在已经正确

有关更多信息,请参见此处:


Peter

上面的日志条目是否直接取自S3日志?格式似乎已被更改,可能是由于模式匹配中存在错误的预处理作业。字段没有完全按照文档所述排列,引号似乎没有正确对齐,数字028中的前导零也似乎不寻常。是的,日志条目直接取自S3日志。。。但是出于偏执的原因,我修改了条目并添加了一些错误。860028应该是860028。你知道这个案例中的问题云是什么吗?经过两个月的调查,亚马逊确认他们已经发现并解决了这个问题。他们现在正计划在S3服务的下一次更新中包含此修复程序。不幸的是,他们可能无法修复旧日志,但是支持人员已经要求S3团队对此进行澄清。当我了解更多信息时,我将发布解决方案并关闭此任务。