部署python 2.7时出现刮取中心错误
我写了一些蜘蛛,我正试图部署在刮中心。我做到了:部署python 2.7时出现刮取中心错误,python,scrapy,Python,Scrapy,我写了一些蜘蛛,我正试图部署在刮中心。我做到了: shub login shub deploy 我假设发生下面的错误是因为我的spider是用Python3.7.3编写的,而scraping hub使用Python2.7。有没有办法按原样部署它,或者我需要将代码转换为“运行”Python2.7 注意:错误出现在打印(我可以很容易地删除)中,但在许多情况下,我会在填充刮下的项目时使用f“{}” 产生的错误: 部署到Scrapy云项目“55555” 部署日志最后30行: _运行(参数、设置) 文件
shub login
shub deploy
我假设发生下面的错误是因为我的spider是用Python3.7.3编写的,而scraping hub使用Python2.7。有没有办法按原样部署它,或者我需要将代码转换为“运行”Python2.7
注意:错误出现在打印
(我可以很容易地删除)中,但在许多情况下,我会在填充刮下的项目时使用f“{}”
产生的错误:
部署到Scrapy云项目“55555”
部署日志最后30行:
_运行(参数、设置)
文件“/usr/local/lib/python2.7/site packages/sh_scrapy/crawl.py”,第103行,正在运行
_运行刮擦(参数、设置)
文件“/usr/local/lib/python2.7/site packages/sh_scrapy/crawl.py”,第111行,in_run_scrapy
执行(设置=设置)
文件“/usr/local/lib/python2.7/site packages/scrapy/cmdline.py”,执行中的第149行
cmd.crawler_process=CrawlerProcess(设置)
文件“/usr/local/lib/python2.7/site packages/scrapy/crawler.py”,第251行,在__
超级(爬虫进程,自我)。\uuuuu初始化\uuuuu(设置)
文件“/usr/local/lib/python2.7/site packages/scrapy/crawler.py”,第137行,在__
self.spider\u loader=\u get\u spider\u loader(设置)
文件“/usr/local/lib/python2.7/site packages/scrapy/crawler.py”,第338行,在“获取蜘蛛”加载程序中
从\u设置返回加载程序\u cls.(settings.frozencopy())
文件“/usr/local/lib/python2.7/site packages/scrapy/spiderloader.py”,第61行,在from_设置中
返回cls(设置)
文件“/usr/local/lib/python2.7/site packages/scrapy/spiderloader.py”,第25行,在__
self.\u加载\u所有\u蜘蛛()
文件“/usr/local/lib/python2.7/site packages/scrapy/spiderloader.py”,第47行,在所有spider中
对于walk_模块中的模块(名称):
文件“/usr/local/lib/python2.7/site packages/scrapy/utils/misc.py”,第71行,在walk_模块中
子模块=导入模块(完整路径)
文件“/usr/local/lib/python2.7/importlib/_init__.py”,第37行,在导入模块中
__导入(名称)
文件“/app/\uuuuu main\uuuuuu.egg/test/spider/example.py”,第33行
打印(f“产品:\t{temp}”)
在您的虚拟环境中安装
shub
(pip Install shub
),以便shub
使用与spider相同的Python解释器,然后重试。在github上,它说:“需求=Python 2.7或更高版本”。我想这不是问题。我只是回顾一下你的问题以寻求改进。(审查结束)。