Python Can';不要部署到Scrapinghub
当我尝试使用Python Can';不要部署到Scrapinghub,python,deployment,web-scraping,scrapy,scrapinghub,Python,Deployment,Web Scraping,Scrapy,Scrapinghub,当我尝试使用shub deploy进行部署时,出现以下错误: 拆卸中间容器fccf1ec715e6步骤10:运行sudo-u nobody-E PYTHONUSERBASE=$PYTHONUSERBASE pip install--user --无缓存目录-r/app/requirements.txt->在729e0d414f46中运行给定的双需求:attrs==16.1.0(来自-r/app/requirements.txt (第51行))(已在attrs==16.0.0中(来自-r/app/
shub deploy
进行部署时,出现以下错误:
拆卸中间容器fccf1ec715e6步骤10:运行sudo-u
nobody-E PYTHONUSERBASE=$PYTHONUSERBASE pip install--user
--无缓存目录-r/app/requirements.txt->在729e0d414f46中运行给定的双需求:attrs==16.1.0(来自-r/app/requirements.txt
(第51行))(已在attrs==16.0.0中(来自-r/app/requirements.txt
(第1行),name='attrs')
{“message”:“命令'/bin/sh-c sudo-u nobody-E
PYTHONUSERBASE=$PYTHONUSERBASE pip install--user--no cache dir
-r/app/requirements.txt'返回了一个非零代码:1,“details”:{“message”:“The command'/bin/sh-c sudo-u nobody-E”
PYTHONUSERBASE=$PYTHONUSERBASE pip install--user--no cache dir
-r/app/requirements.txt'返回一个非零代码:1“},“error”:“build_error”}
{“消息”:“内部生成错误”,“状态”:“错误”}部署日志
地点:
c:\users\dr521f~1.pri\appdata\local\temp\shub_deploy\u pvx7dk.log错误:
部署失败:{“消息”:“内部生成错误”,“状态”:“错误”}
这是我的requirements.txt
:
attrs==16.1.0
beautifulsoup4==4.5.1
cffi==1.8.2
click==6.6
cryptography==1.5
cssselect==0.9.2
enum34==1.1.6
fake-useragent==0.1.2
hubstorage==0.23.1
idna==2.1
ipaddress==1.0.17
lxml==3.6.1
parsel==1.0.3
pyasn1==0.1.9
pyasn1-modules==0.0.8
pycparser==2.14
PyDispatcher==2.0.5
pyOpenSSL==16.1.0
pypiwin32==219
queuelib==1.4.2
requests==2.11.1
retrying==1.3.3
ruamel.ordereddict==0.4.9
ruamel.yaml==0.12.13
scrapinghub==1.8.0
Scrapy==1.1.2
scrapy-fake-useragent==0.0.1
service-identity==16.0.0
shub==2.4.0
six==1.10.0
Twisted==16.4.0
typing==3.5.2.2
w3lib==1.15.0
zope.interface==4.3.2
为什么我不能部署?来自文档
请注意,此需求文件是Scrapy Cloud的扩展
堆栈,因此不应包含已成为其一部分的包
一堆的,如刮擦
正如您在错误中看到的:
在729e0d414f46中运行给定的双重要求:attrs==16.1.0(从
-r/app/requirements.txt(第51行))(已经在attrs==16.0.0中(从-r/app/requirements.txt(第1行)),name='attrs')
上面写的是给出的双重要求
对整个项目和Scrapinghub使用不同的requirements.txt
。我最终创建了shub requirements.txt
,其中包含以下内容:
beautifulsoup4==4.5.1
fake-useragent==0.1.2