Python ModuleNotFoundError:没有名为“scrapy\u用户\u代理”的模块
我尝试将scrapy_用户_代理与scrapy代理池一起使用 我在my settings.py中添加了以下行:Python ModuleNotFoundError:没有名为“scrapy\u用户\u代理”的模块,python,web-scraping,scrapy,Python,Web Scraping,Scrapy,我尝试将scrapy_用户_代理与scrapy代理池一起使用 我在my settings.py中添加了以下行: DOWNLOADER_MIDDLEWARES = { 'scrapy_proxy_pool.middlewares.ProxyPoolMiddleware': 610, 'scrapy_proxy_pool.middlewares.BanDetectionMiddleware': 620, 'scrapy.downloadermiddlewares.us
DOWNLOADER_MIDDLEWARES = {
'scrapy_proxy_pool.middlewares.ProxyPoolMiddleware': 610,
'scrapy_proxy_pool.middlewares.BanDetectionMiddleware': 620,
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 700,
}
当我运行spider时,会收到以下错误消息:
ModuleNotFoundError:没有名为“scrapy\u用户\u代理”的模块
我删除了中间件中的代理行,但得到了相同的问题和错误消息
您将在下面找到完整的日志错误:
2019-08-13 16:05:28[scrapy.utils.log]信息:scrapy 1.7.3启动bot:scraping_企业
2019-08-13 16:05:28[scrapy.utils.log]信息:版本:lxml 4.4.1.0,libxml2.9.5,cssselect 1.1.0,parsel 1.5.2,w3lib 1.21.0,Twisted 19.7.0,Python 3.7.4标签/v3.7.4:e0959112e,Jul
8 2019年,20:34:20[MSC v.1916 64位AMD64],pyOpenSSL 19.0.0 OpenSSL 1.1.1c,2019年5月28日,加密2.7,平台Windows-10-10.0.17134-SP0
2019-08-13 16:05:28[爬虫]信息:覆盖设置:{'BOT_NAME':'scraping_enterprises','NEWSPIDER_MODULE':'scraping_enterprises.SPIDER','ROBOTSTXT_-obe':True,'SPIDER_MOD
ULES':['scraping_enterprises.spider']}
2019-08-13 16:05:28[scrapy.extensions.telnet]信息:telnet密码:0a7932c1a3ce188f
2019-08-13 16:05:28[scrapy.middleware]信息:启用的扩展:
['scrapy.extensions.corestats.corestats',
'scrapy.extensions.telnet.TelnetConsole',
'scrapy.extensions.logstats.logstats']
延迟中未处理的错误:
2019-08-13 16:05:29[twisted]严重:延迟中未处理的错误:
回溯最近一次呼叫上次:
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\crawler.py,第184行,在爬网中
返回自我。_爬虫,*args,**kwargs
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\crawler.py,第188行,在爬网中
d=爬网器。爬网*args,**kwargs
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\twisted\internet\defer.py,第1613行,在unwindGenerator中
return\u cancelableinlinecallbacksgen
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\twisted\internet\defer.py,第1529行,在可取消的内联回调中
_InlineCallbacknone,g,status----
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\twisted\internet\defer.py,第1418行,在内联回调中
结果=g.sendresult
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\crawler.py,第86行,在爬网中
self.engine=self.\u创建\u引擎
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\crawler.py,第111行,在create\u引擎中
返回执行引擎自身,lambda:self.stop
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\core\engine.py,第69行,在init中
self.downloader=downloader\u scrawler
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\core\downloader\u init.py,第86行,在init中
self.middleware=downloadermiddlewaremager.from_crawlercrawler
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\middleware.py,第53行,from_crawler
返回cls.from_settingscrawler.settings,crawler
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\middleware.py,第34行,在from\u设置中
mwcls=加载对象CLSPATH
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\utils\misc.py,第46行,在load\u对象中
mod=导入模块
文件C:\Users\Nino\AppData\Local\Programs\Python37\lib\importlib\u init.py,第127行,在导入模块中
return _bootstrap._gcd_importname[级别:],包,级别
文件,第1006行,在_gcd_导入中
文件,第983行,在_find_和_load中
文件,第953行,在“查找”和“加载”中解锁
文件,第219行,在调用中删除了帧
文件,第1006行,在_gcd_导入中
文件,第983行,在_find_和_load中
文件,第965行,在_find_和_load_unlocked中
builtins.ModuleNotFoundError:没有名为“scrapy\u用户\u代理”的模块
2019-08-13 16:05:29[扭曲]临界:
回溯最近一次呼叫上次:
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\twisted\internet\defer.py,第1418行,在内联回调中
结果=g.sendresult
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\crawler.py,第86行,在爬网中
self.engine=self.\u创建\u引擎
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\crawler.py,第111行,在create\u引擎中
返回执行引擎自身,lambda:self.stop
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\core\engine.py,第69行,在init中
self.downloader=downloader\u scrawler
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\core\downloader\u init.py,第86行,在init中
self.middleware=downloadermiddlewaremager.from_crawlercrawler
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\middleware.py,第53行,from_crawler
返回cls.from_settingscrawler.settings,crawler
文件c:\users\nino\py
charmprojects\scraping\venv\lib\site packages\scrapy\middleware.py,第34行,从\u设置
mwcls=加载对象CLSPATH
文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\utils\misc.py,第46行,在load\u对象中
mod=导入模块
文件C:\Users\Nino\AppData\Local\Programs\Python37\lib\importlib\u init.py,第127行,在导入模块中
return _bootstrap._gcd_importname[级别:],包,级别
文件,第1006行,在_gcd_导入中
文件,第983行,在_find_和_load中
文件,第953行,在“查找”和“加载”中解锁
文件,第219行,在调用中删除了帧
文件,第1006行,在_gcd_导入中
文件,第983行,在_find_和_load中
文件,第965行,在_find_和_load_unlocked中
ModuleNotFoundError:没有名为“scrapy\u用户\u代理”的模块
再次尝试卸载并安装模块,以确保已为您的python版本安装该模块 pip卸载模块名称
您是否安装了scrapy用户代理?非常感谢。我用Pycharm安装了它,上面说安装成功了。但当我试图用pip卸载时,它说没有安装。所以在安装了pip之后,我的脚本就可以工作了!!非常感谢。