Python Azure机器学习-创建数据帧时出现内存错误
使用笔记本虚拟机作为计算实例,在Azure机器学习上创建从CSV文件读取的简单数据帧时,我遇到内存错误。虚拟机在Ubuntu(Linux(Ubuntu16.04))上配置了DS13 56gb RAM、8vcpu、112gb存储空间。CSV文件是5gb文件Python Azure机器学习-创建数据帧时出现内存错误,python,azure,azure-machine-learning-service,Python,Azure,Azure Machine Learning Service,使用笔记本虚拟机作为计算实例,在Azure机器学习上创建从CSV文件读取的简单数据帧时,我遇到内存错误。虚拟机在Ubuntu(Linux(Ubuntu16.04))上配置了DS13 56gb RAM、8vcpu、112gb存储空间。CSV文件是5gb文件 blob_service = BlockBlobService(account_name,account_key) blobstring = blob_service.get_blob_to_text(container,filepath).c
blob_service = BlockBlobService(account_name,account_key)
blobstring = blob_service.get_blob_to_text(container,filepath).content
dffinaldata = pd.read_csv(StringIO(blobstring), sep=',')
我在这里做错了什么?调用get\u blob\u to\u text时需要提供正确的编码,请参阅 下面的代码通常用于读取blob存储中的数据文件。基本上,您可以使用blob的url和sas令牌,并使用请求方法。但是,您可能需要编辑“for循环”,具体取决于您拥有的数据类型(例如csv、jpg等) --下面是Python代码--
导入请求
从azure.storage.blob导入BlockBlobsService,BlobPermissions
从azure.storage.blob.baseblobservice导入baseblobservice
从datetime导入datetime,timedelta
account_name='调用get_blob_to_text时需要提供正确的编码,请参阅
下面的代码通常用于读取blob存储中的数据文件。基本上,您可以使用blob的url和sas令牌,并使用请求方法。但是,您可能需要编辑“for循环”,具体取决于您拥有的数据类型(例如csv、jpg等)
--下面是Python代码--
导入请求
从azure.storage.blob导入BlockBlobsService,BlobPermissions
从azure.storage.blob.baseblobservice导入baseblobservice
从datetime导入datetime,timedelta
账户名称=
import requests
from azure.storage.blob import BlockBlobService, BlobPermissions
from azure.storage.blob.baseblobservice import BaseBlobService
from datetime import datetime, timedelta
account_name = '<account_name>'
account_key = '<account_key>'
container_name = '<container_name>'
blob_service=BlockBlobService(account_name,account_key)
generator = blob_service.list_blobs(container_name)
for blob in generator:
url = f"https://{account_name}.blob.core.windows.net/{container_name}"
service = BaseBlobService(account_name=account_name, account_key=account_key)
token = service.generate_blob_shared_access_signature(container_name, img_name, permission=BlobPermissions.READ, expiry=datetime.utcnow() + timedelta(hours=1),)
url_with_sas = f"{url}?{token}"
response = requests.get(url_with_sas)