Python 无法将较大的Blob上载到Azure:Azure.core.exceptions.ServiceRequestError:操作未完成（写入）（_ssl.c:2317）

我正在尝试使用Python SDK将一些较大的blob（>50MB）上载到我的Azure存储容器：

connect_str = os.environ['AZURE_STORAGE_CONNECTION_STRING']
blob_service_client = BlobServiceClient.from_connection_string(connect_str)

def upload_blob(file_path):
    if os.path.exists(file_path):
        with open(file_path, 'rb') as data:
            blob_client = blob_service_client.get_blob_client(container='foo', blob=file_path)

            print(f"Uploading file {file_path} to blob storage...")
            print(os.path.getsize(file_path))
            return blob_client.upload_blob(data, length=os.path.getsize(file_path))
    else:
        print(f"File {file_path} not found. Please store the file first before uploading")
        return False

然而，当我运行此程序时，我得到一个

azure.core.exceptions.ServiceRequestError

：

Traceback (most recent call last):
  File "C:/Users/.../storage_controller.py", line 96, in <module>
    upload_blob(config.VECTORIZER_PATH)
  File "C:/Users/.../storage_controller.py", line 34, in upload_blob
    return blob_client.upload_blob(data, length=os.path.getsize(file_path))
  File "C:\Users\...\venv\lib\site-packages\azure\core\tracing\decorator.py", line 83, in wrapper_use_tracer
    return func(*args, **kwargs)
  File "C:\Users\...\venv\lib\site-packages\azure\storage\blob\_blob_client.py", line 496, in upload_blob
    return upload_block_blob(**options)
  File "C:\Users\...\venv\lib\site-packages\azure\storage\blob\_upload_helpers.py", line 104, in upload_block_blob
    **kwargs)
  File "C:\Users\...\venv\lib\site-packages\azure\storage\blob\_generated\operations\_block_blob_operations.py", line 207, in upload
    pipeline_response = self._client._pipeline.run(request, stream=False, **kwargs)
  File "C:\Users\...\venv\lib\site-packages\azure\core\pipeline\_base.py", line 211, in run
    return first_node.send(pipeline_request)  # type: ignore
  File "C:\Users\...\venv\lib\site-packages\azure\core\pipeline\_base.py", line 71, in send
    response = self.next.send(request)
  File "C:\Users\...\venv\lib\site-packages\azure\core\pipeline\_base.py", line 71, in send
    response = self.next.send(request)
  File "C:\Users\...\venv\lib\site-packages\azure\core\pipeline\_base.py", line 71, in send
    response = self.next.send(request)
  [Previous line repeated 4 more times]
  File "C:\Users\...\venv\lib\site-packages\azure\core\pipeline\policies\_redirect.py", line 157, in send
    response = self.next.send(request)
  File "C:\Users\...\venv\lib\site-packages\azure\core\pipeline\_base.py", line 71, in send
    response = self.next.send(request)
  File "C:\Users\...\venv\lib\site-packages\azure\storage\blob\_shared\policies.py", line 515, in send
    raise err
  File "C:\Users\...\venv\lib\site-packages\azure\storage\blob\_shared\policies.py", line 489, in send
    response = self.next.send(request)
  File "C:\Users\...\venv\lib\site-packages\azure\core\pipeline\_base.py", line 71, in send
    response = self.next.send(request)
  File "C:\Users\...\venv\lib\site-packages\azure\storage\blob\_shared\policies.py", line 290, in send
    response = self.next.send(request)
  File "C:\Users\...\venv\lib\site-packages\azure\core\pipeline\_base.py", line 71, in send
    response = self.next.send(request)
  File "C:\Users\...\venv\lib\site-packages\azure\core\pipeline\_base.py", line 71, in send
    response = self.next.send(request)
  File "C:\Users\...\venv\lib\site-packages\azure\core\pipeline\_base.py", line 103, in send
    self._sender.send(request.http_request, **request.context.options),
  File "C:\Users\...\venv\lib\site-packages\azure\storage\blob\_shared\base_client.py", line 312, in send
    return self._transport.send(request, **kwargs)
  File "C:\Users\...\venv\lib\site-packages\azure\core\pipeline\transport\_requests_basic.py", line 284, in send
    raise error
azure.core.exceptions.ServiceRequestError: The operation did not complete (write) (_ssl.c:2317)

回溯（最近一次呼叫最后一次）：
文件“C:/Users/../storage\u controller.py”，第96行，在
上载\u blob（config.VECTORIZER\u路径）
文件“C:/Users/../storage\u controller.py”，第34行，在upload\u blob中
返回blob\u client.upload\u blob（数据，长度=os.path.getsize（文件路径））
文件“C:\Users\…\venv\lib\site packages\azure\core\tracing\decorator.py”，第83行，在wrapper\u use\u tracer中
返回函数（*args，**kwargs）
文件“C:\Users\…\venv\lib\site packages\azure\storage\blob\\u blob\u client.py”，第496行，在upload\u blob中
返回上载块块（**选项）
文件“C:\Users\…\venv\lib\site packages\azure\storage\blob\ \u upload\u helpers.py”，第104行，在upload\u block\u blob中
**kwargs）
文件“C:\Users\…\venv\lib\site packages\azure\storage\blob\ \u generated\operations\\u block\u blob\u operations.py”，上传中第207行
pipeline\u response=self.\u client.\u pipeline.run（请求，流=False，**kwargs）
文件“C:\Users\…\venv\lib\site packages\azure\core\pipeline\\u base.py”，第211行，正在运行
返回第一个节点。发送（管道请求）#类型：忽略
文件“C:\Users\…\venv\lib\site packages\azure\core\pipeline\\u base.py”，第71行，在send中
response=self.next.send（请求）
文件“C:\Users\…\venv\lib\site packages\azure\core\pipeline\\u base.py”，第71行，在send中
response=self.next.send（请求）
文件“C:\Users\…\venv\lib\site packages\azure\core\pipeline\\u base.py”，第71行，在send中
response=self.next.send（请求）
[上一行重复了4次]
文件“C:\Users\…\venv\lib\site packages\azure\core\pipeline\policies\\u redirect.py”，第157行，在send中
response=self.next.send（请求）
文件“C:\Users\…\venv\lib\site packages\azure\core\pipeline\\u base.py”，第71行，在send中
response=self.next.send（请求）
文件“C:\Users\…\venv\lib\site packages\azure\storage\blob\\u shared\policies.py”，第515行，在send中
提出错误
文件“C:\Users\…\venv\lib\site packages\azure\storage\blob\\u shared\policies.py”，第489行，在send中
response=self.next.send（请求）
文件“C:\Users\…\venv\lib\site packages\azure\core\pipeline\\u base.py”，第71行，在send中
response=self.next.send（请求）
文件“C:\Users\…\venv\lib\site packages\azure\storage\blob\\u shared\policies.py”，第290行，在send中
response=self.next.send（请求）
文件“C:\Users\…\venv\lib\site packages\azure\core\pipeline\\u base.py”，第71行，在send中
response=self.next.send（请求）
文件“C:\Users\…\venv\lib\site packages\azure\core\pipeline\\u base.py”，第71行，在send中
response=self.next.send（请求）
文件“C:\Users\…\venv\lib\site packages\azure\core\pipeline\\u base.py”，第103行，在send中
self.\u sender.send（request.http\u request，**request.context.options），
文件“C:\Users\…\venv\lib\site packages\azure\storage\blob\\u shared\base\u client.py”，第312行，在send中
返回自我运输发送（请求，**kwargs）
文件“C:\Users\…\venv\lib\site packages\azure\core\pipeline\transport\\请求\u basic.py”，第284行，在send中
提出错误
azure.core.exceptions.ServiceRequestError:操作未完成（写入）（_ssl.c:2317）

我尝试了一些方法，找到了一些关于分块和使用

put\u blob

方法来处理较大文件的建议，但是这些解决方案在当前版本的SDK中似乎不可能实现，SDK应该自己处理较大的文件。但是，较小的文件（例如，一行的txt文件）工作绝对正常。这是Azure SDK的问题还是我自己的网络/SSL配置错误，我如何解决这个问题

---

提前谢谢

我将解决方案总结如下

如果您想使用package

Azure.storage.blob

将文件以区块的形式上载到Azure blob，我们可以使用方法

BlobClient.stage\u block

上载每个区块。上传后，我们使用方法

BlobClient.commit\u block\u list

将所有块组成一个blob

比如说

# Instantiate a new BlobServiceClient using a connection string
blob_service_client = BlobServiceClient.from_connection_string(connection_string)
# Instantiate a new ContainerClient
container_client = blob_service_client.get_container_client('')
blob_client = container_client.get_blob_client("csvfile.csv")
# upload data
block_list=[]
chunk_size=1024
with open('csvfile.csv','rb') as f:
   
   while True:
        read_data = f.read(chunk_size)
        if not read_data:
            break # done
        blk_id = str(uuid.uuid4())
        blob_client.stage_block(block_id=blk_id,data=read_data) 
        block_list.append(BlobBlock(block_id=blk_id))
        

blob_client.commit_block_list(block_list)

---

有关更多详细信息，请参阅

如果您提到这可能是您自己的网络，可能会添加一些关于如何设置的信息，如果不是直接连接（企业局域网等）。如果您想批量上传blob，请参阅@JimXu。非常感谢@我把我的建议作为一种解决办法。既然这对你有帮助，你能帮我吗？它可能会帮助更多有类似问题的人。中断应该在读取数据之后，否则它会尝试将空白对象添加到块阶段。将id创建减少到1行，否则在stage时创建一个唯一的id，在附加到列表时创建另一个唯一/不一致的id。通过我的更改，代码对我有效。谢谢你的发帖！回答得好！感谢分享，大多数谷歌搜索都显示了SDK的过时版本，无法正常工作。