如何在google cloud ml中设置pytorch
我尝试在google-cloud-ml中使用如何在google cloud ml中设置pytorch,pytorch,google-cloud-ml,Pytorch,Google Cloud Ml,我尝试在google-cloud-ml中使用Pytorchcode来创建作业。 所以我编写了“setup.py”文件。并添加选项“install_requires” “setup.py” 从setuptools导入查找包 从设置工具导入设置 必需的_包=['http://download.pytorch.org/whl/cpu/torch-0.3.0.post4-cp27-cp27mu-linux_x86_64.whl“,”火炬视觉“] 设置( name='trainer', version='
Pytorch
code来创建作业。
所以我编写了“setup.py”文件。并添加选项“install_requires”
“setup.py”
从setuptools导入查找包
从设置工具导入设置
必需的_包=['http://download.pytorch.org/whl/cpu/torch-0.3.0.post4-cp27-cp27mu-linux_x86_64.whl“,”火炬视觉“]
设置(
name='trainer',
version='0.1',
安装\u requires=所需的\u软件包,
packages=find_packages(),
include_package_data=True,
description='My keras trainer应用程序包。'
)
然后把这个任务交给google cloud ml,但它不起作用
带有错误消息
{
插入:“3m78xtf9czd0u”
jsonPayload:{
已创建:1516845879.49039
levelname:“错误”
电话号码:829
消息:“命令“['pip','install','--user','--upgrade','--force reinstall','--no deps',u'trainer-0.1.tar.gz']”返回非零退出状态1”
路径名:“/runcloudml.py”
}
标签:{
compute.googleapis.com/resource_id:“6637909247101536087”
compute.googleapis.com/resource_name:“cmle-training-master-5502b52646-0-ql9ds”
compute.googleapis.com/zone:“us-central1-c”
ml.googleapis.com/job_id:“运行\u ml\u引擎\u火炬\u测试\u 20180125\u 015752”
ml.googleapis.com/job\u id/log\u区域:“根”
ml.googleapis.com/task_name:“master-replica-0”
ml.googleapis.com/trial_id:“
}
日志名:“projects/exem-191100/logs/master-replica-0”
接收时间戳:“2018-01-25T02:04:55.421517460Z”
资源:{
标签:{…}
类型:“ml_作业”
}
严重性:“错误”
时间戳:“2018-01-25T02:04:39.490387916Z”
}
====================================================================
那么如何在google cloud ml engine中使用pytorch呢?实际的错误信息有点隐藏,但它是这样的: “install_requires”必须是包含以下内容的字符串或字符串列表 有效的项目/版本需求说明符;无效要求, “'://downl”处的分析错误 要使用不在PyPI上托管的包,您需要使用
依赖关系链接
(请参阅文档)。这样的事情应该行得通:
from setuptools import find_packages
from setuptools import setup
REQUIRED_PACKAGES = ['torchvision']
DEPENDENCY_LINKS = ['http://download.pytorch.org/whl/cpu/torch-0.3.0.post4-cp27-cp27mu-linux_x86_64.whl']
setup(
name='trainer',
version='0.1',
install_requires=REQUIRED_PACKAGES,
dependency_links=DEPENDENCY_LINKS,
packages=find_packages(),
include_package_data=True,
description='My keras trainer application package.'
)
我在谷歌云ml中找到了设置PYTORCH的解决方案
首先
你必须得到一个关于pytorch的.whl
文件,并将其存储到google存储桶中。
您将获得铲斗连杆的连杆
gs://bucketname/directory/torch-0.3.0.post4-cp27-cp27mu-linux\u x86\u 64.whl
.whl
文件取决于您的python版本或cuda版本
秒
编写命令行和setup.py是因为必须设置google cloud ml设置。
相关链接是这个吗
您可以编写setup.py
文件来描述您的设置。
相关链接如下
这是我的命令代码和setup.py文件
=====================================================================
“命令”
#命令行代码
作业\u NAME=“运行\u ml\u引擎\u pytorch\u测试\$(日期+%Y%m%d\uh%m%S)”
地区=美国中部1
输出路径=gs://yourbucket
gcloud ml引擎作业提交培训$JOB\u名称\
--作业目录$OUTPUT\u路径\
--运行时版本1.4\
--模块名称models.pytorch\u测试\
--包路径模型/\
--软件包gs://yourbucket/directory/torch-0.3.0.post4-cp27-cp27mu-linux\u x86\u 64.whl\
--地区$地区\
-- \
--冗长调试
=====================================================================
“setup.py”
从setuptools导入查找包
从设置工具导入设置
必需的_包=['torchvision']
设置(
name='trainer',
version='0.1',
安装\u requires=所需的\u软件包,
packages=find_packages(),
include_package_data=True,
description='My pytorch trainer应用程序包。'
)
=====================================================================
第三
如果您有向ml引擎提交作业的经验。
您可能知道关于提交ml引擎的文件结构
.
您必须遵循上面的链接并知道如何打包文件。您可以将邮件添加为文本吗?从图片中读取它不是很方便,而且它会阻止搜索引擎有效地索引信息。还有,照片可能有一天过期。对不起。。。转到文本谢谢。。。但不管怎么说这都不管用。。。错误消息“Command”python setup.py egg_info“失败,错误代码为/tmp/pip build-_ZQ7aQ/torch/”中的1