Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/kubernetes/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Kubernetes 列出blob时CEPH S3异常_Kubernetes_Ceph_Rook Storage - Fatal编程技术网

Kubernetes 列出blob时CEPH S3异常

Kubernetes 列出blob时CEPH S3异常,kubernetes,ceph,rook-storage,Kubernetes,Ceph,Rook Storage,我已经创建了一个由CEPH支持的S3 bucket,通过java S3客户端和S3 object gateway,我以分页方式列出了目录,并且随机地,在批量列出1100个blob之后,有时在批量列出2000个blob之后,列表失败了,我不知道如何调试这个问题,这是我得到的异常,如果你注意到异常中有一个requestId,我想我可以根据这个筛选日志,但我在哪里可以找到日志是个问题,我已经检查了s3网关pod日志,但我在那里找不到任何这样的日志,请让我知道我应该在哪里查找相同的日志 com.amaz

我已经创建了一个由CEPH支持的S3 bucket,通过java S3客户端和S3 object gateway,我以分页方式列出了目录,并且随机地,在批量列出1100个blob之后,有时在批量列出2000个blob之后,列表失败了,我不知道如何调试这个问题,这是我得到的异常,如果你注意到异常中有一个requestId,我想我可以根据这个筛选日志,但我在哪里可以找到日志是个问题,我已经检查了s3网关pod日志,但我在那里找不到任何这样的日志,请让我知道我应该在哪里查找相同的日志

com.amazonaws.services.s3.model.AmazonS3Exception: null (Service: Amazon S3; Status Code: 500; Error Code: UnknownError; Request ID: tx00000000000000000e7df-005e626049-1146-rook-ceph-store; S3 Extended Request ID: 1146-rook-ceph-store-rook-ceph-store), S3 Extended Request ID: 1146-rook-ceph-store-rook-ceph-store
at com.amazonaws.http.AmazonHttpClient$RequestExecutor.handleErrorResponse(AmazonHttpClient.java:1799)
这是我迭代blob的代码,这是非分页的,分页的版本,这两个版本在列出几百个blob之后抛出相同的异常

  ObjectListing objects = conn.listObjects(bucket.getName());
        do {
            for (S3ObjectSummary objectSummary : objects.getObjectSummaries()) {
                System.out.println(objectSummary.getKey() + "\t" +
                        objectSummary.getSize() + "\t" +
                        StringUtils.fromDate(objectSummary.getLastModified()));
            }
            objects = conn.listNextBatchOfObjects(objects);
        } while (objects.isTruncated());
因此,任何关于如何调试它的指针都会很有帮助。。谢谢

试试ListObjectV2

返回bucket中的部分或全部(最多1000个)对象


在列出2000个键后,我立即尝试了boto,但botocore.exceptions.ClientError失败:调用ListObjects操作时发生错误(UnknowError)(达到最大重试次数:4):未知