Kubernetes 列出blob时CEPH S3异常
我已经创建了一个由CEPH支持的S3 bucket,通过java S3客户端和S3 object gateway,我以分页方式列出了目录,并且随机地,在批量列出1100个blob之后,有时在批量列出2000个blob之后,列表失败了,我不知道如何调试这个问题,这是我得到的异常,如果你注意到异常中有一个requestId,我想我可以根据这个筛选日志,但我在哪里可以找到日志是个问题,我已经检查了s3网关pod日志,但我在那里找不到任何这样的日志,请让我知道我应该在哪里查找相同的日志Kubernetes 列出blob时CEPH S3异常,kubernetes,ceph,rook-storage,Kubernetes,Ceph,Rook Storage,我已经创建了一个由CEPH支持的S3 bucket,通过java S3客户端和S3 object gateway,我以分页方式列出了目录,并且随机地,在批量列出1100个blob之后,有时在批量列出2000个blob之后,列表失败了,我不知道如何调试这个问题,这是我得到的异常,如果你注意到异常中有一个requestId,我想我可以根据这个筛选日志,但我在哪里可以找到日志是个问题,我已经检查了s3网关pod日志,但我在那里找不到任何这样的日志,请让我知道我应该在哪里查找相同的日志 com.amaz
com.amazonaws.services.s3.model.AmazonS3Exception: null (Service: Amazon S3; Status Code: 500; Error Code: UnknownError; Request ID: tx00000000000000000e7df-005e626049-1146-rook-ceph-store; S3 Extended Request ID: 1146-rook-ceph-store-rook-ceph-store), S3 Extended Request ID: 1146-rook-ceph-store-rook-ceph-store
at com.amazonaws.http.AmazonHttpClient$RequestExecutor.handleErrorResponse(AmazonHttpClient.java:1799)
这是我迭代blob的代码,这是非分页的,分页的版本,这两个版本在列出几百个blob之后抛出相同的异常
ObjectListing objects = conn.listObjects(bucket.getName());
do {
for (S3ObjectSummary objectSummary : objects.getObjectSummaries()) {
System.out.println(objectSummary.getKey() + "\t" +
objectSummary.getSize() + "\t" +
StringUtils.fromDate(objectSummary.getLastModified()));
}
objects = conn.listNextBatchOfObjects(objects);
} while (objects.isTruncated());
因此,任何关于如何调试它的指针都会很有帮助。。谢谢试试ListObjectV2
返回bucket中的部分或全部(最多1000个)对象
在列出2000个键后,我立即尝试了boto,但botocore.exceptions.ClientError失败:调用ListObjects操作时发生错误(UnknowError)(达到最大重试次数:4):未知