Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/jenkins/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python Azure机器学习-创建数据帧时出现内存错误_Python_Azure_Azure Machine Learning Service - Fatal编程技术网

Python Azure机器学习-创建数据帧时出现内存错误

Python Azure机器学习-创建数据帧时出现内存错误,python,azure,azure-machine-learning-service,Python,Azure,Azure Machine Learning Service,使用笔记本虚拟机作为计算实例,在Azure机器学习上创建从CSV文件读取的简单数据帧时,我遇到内存错误。虚拟机在Ubuntu(Linux(Ubuntu16.04))上配置了DS13 56gb RAM、8vcpu、112gb存储空间。CSV文件是5gb文件 blob_service = BlockBlobService(account_name,account_key) blobstring = blob_service.get_blob_to_text(container,filepath).c

使用笔记本虚拟机作为计算实例,在Azure机器学习上创建从CSV文件读取的简单数据帧时,我遇到内存错误。虚拟机在Ubuntu(Linux(Ubuntu16.04))上配置了DS13 56gb RAM、8vcpu、112gb存储空间。CSV文件是5gb文件

blob_service = BlockBlobService(account_name,account_key)
blobstring = blob_service.get_blob_to_text(container,filepath).content
dffinaldata = pd.read_csv(StringIO(blobstring), sep=',')

我在这里做错了什么?

调用get\u blob\u to\u text时需要提供正确的编码,请参阅

下面的代码通常用于读取blob存储中的数据文件。基本上,您可以使用blob的url和sas令牌,并使用请求方法。但是,您可能需要编辑“for循环”,具体取决于您拥有的数据类型(例如csv、jpg等)

--下面是Python代码--

导入请求
从azure.storage.blob导入BlockBlobsService,BlobPermissions
从azure.storage.blob.baseblobservice导入baseblobservice
从datetime导入datetime,timedelta

account_name='

调用get_blob_to_text时需要提供正确的编码,请参阅

下面的代码通常用于读取blob存储中的数据文件。基本上,您可以使用blob的url和sas令牌,并使用请求方法。但是,您可能需要编辑“for循环”,具体取决于您拥有的数据类型(例如csv、jpg等)

--下面是Python代码--

导入请求
从azure.storage.blob导入BlockBlobsService,BlobPermissions
从azure.storage.blob.baseblobservice导入baseblobservice
从datetime导入datetime,timedelta
账户名称=

import requests
from azure.storage.blob import BlockBlobService, BlobPermissions
from azure.storage.blob.baseblobservice import BaseBlobService
from datetime import datetime, timedelta

account_name = '<account_name>'
account_key = '<account_key>'
container_name = '<container_name>'

blob_service=BlockBlobService(account_name,account_key)
generator = blob_service.list_blobs(container_name)

for blob in generator:
    url = f"https://{account_name}.blob.core.windows.net/{container_name}"
    service = BaseBlobService(account_name=account_name, account_key=account_key)
    token = service.generate_blob_shared_access_signature(container_name, img_name, permission=BlobPermissions.READ, expiry=datetime.utcnow() + timedelta(hours=1),)
    url_with_sas = f"{url}?{token}"
    response = requests.get(url_with_sas)