Python ModuleNotFoundError:没有名为“scrapy\u用户\u代理”的模块

Python ModuleNotFoundError:没有名为“scrapy\u用户\u代理”的模块,python,web-scraping,scrapy,Python,Web Scraping,Scrapy,我尝试将scrapy_用户_代理与scrapy代理池一起使用 我在my settings.py中添加了以下行: DOWNLOADER_MIDDLEWARES = { 'scrapy_proxy_pool.middlewares.ProxyPoolMiddleware': 610, 'scrapy_proxy_pool.middlewares.BanDetectionMiddleware': 620, 'scrapy.downloadermiddlewares.us

我尝试将scrapy_用户_代理与scrapy代理池一起使用

我在my settings.py中添加了以下行:

    DOWNLOADER_MIDDLEWARES = {
    'scrapy_proxy_pool.middlewares.ProxyPoolMiddleware': 610,
    'scrapy_proxy_pool.middlewares.BanDetectionMiddleware': 620,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 700,
    }
当我运行spider时,会收到以下错误消息:

ModuleNotFoundError:没有名为“scrapy\u用户\u代理”的模块

我删除了中间件中的代理行,但得到了相同的问题和错误消息

您将在下面找到完整的日志错误:

2019-08-13 16:05:28[scrapy.utils.log]信息:scrapy 1.7.3启动bot:scraping_企业 2019-08-13 16:05:28[scrapy.utils.log]信息:版本:lxml 4.4.1.0,libxml2.9.5,cssselect 1.1.0,parsel 1.5.2,w3lib 1.21.0,Twisted 19.7.0,Python 3.7.4标签/v3.7.4:e0959112e,Jul 8 2019年,20:34:20[MSC v.1916 64位AMD64],pyOpenSSL 19.0.0 OpenSSL 1.1.1c,2019年5月28日,加密2.7,平台Windows-10-10.0.17134-SP0 2019-08-13 16:05:28[爬虫]信息:覆盖设置:{'BOT_NAME':'scraping_enterprises','NEWSPIDER_MODULE':'scraping_enterprises.SPIDER','ROBOTSTXT_-obe':True,'SPIDER_MOD ULES':['scraping_enterprises.spider']} 2019-08-13 16:05:28[scrapy.extensions.telnet]信息:telnet密码:0a7932c1a3ce188f 2019-08-13 16:05:28[scrapy.middleware]信息:启用的扩展: ['scrapy.extensions.corestats.corestats', 'scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.logstats.logstats'] 延迟中未处理的错误: 2019-08-13 16:05:29[twisted]严重:延迟中未处理的错误: 回溯最近一次呼叫上次: 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\crawler.py,第184行,在爬网中 返回自我。_爬虫,*args,**kwargs 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\crawler.py,第188行,在爬网中 d=爬网器。爬网*args,**kwargs 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\twisted\internet\defer.py,第1613行,在unwindGenerator中 return\u cancelableinlinecallbacksgen 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\twisted\internet\defer.py,第1529行,在可取消的内联回调中 _InlineCallbacknone,g,status---- 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\twisted\internet\defer.py,第1418行,在内联回调中 结果=g.sendresult 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\crawler.py,第86行,在爬网中 self.engine=self.\u创建\u引擎 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\crawler.py,第111行,在create\u引擎中 返回执行引擎自身,lambda:self.stop 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\core\engine.py,第69行,在init中 self.downloader=downloader\u scrawler 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\core\downloader\u init.py,第86行,在init中 self.middleware=downloadermiddlewaremager.from_crawlercrawler 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\middleware.py,第53行,from_crawler 返回cls.from_settingscrawler.settings,crawler 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\middleware.py,第34行,在from\u设置中 mwcls=加载对象CLSPATH 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\utils\misc.py,第46行,在load\u对象中 mod=导入模块 文件C:\Users\Nino\AppData\Local\Programs\Python37\lib\importlib\u init.py,第127行,在导入模块中 return _bootstrap._gcd_importname[级别:],包,级别 文件,第1006行,在_gcd_导入中 文件,第983行,在_find_和_load中 文件,第953行,在“查找”和“加载”中解锁 文件,第219行,在调用中删除了帧 文件,第1006行,在_gcd_导入中 文件,第983行,在_find_和_load中 文件,第965行,在_find_和_load_unlocked中 builtins.ModuleNotFoundError:没有名为“scrapy\u用户\u代理”的模块 2019-08-13 16:05:29[扭曲]临界: 回溯最近一次呼叫上次: 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\twisted\internet\defer.py,第1418行,在内联回调中 结果=g.sendresult 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\crawler.py,第86行,在爬网中 self.engine=self.\u创建\u引擎 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\crawler.py,第111行,在create\u引擎中 返回执行引擎自身,lambda:self.stop 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\core\engine.py,第69行,在init中 self.downloader=downloader\u scrawler 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\core\downloader\u init.py,第86行,在init中 self.middleware=downloadermiddlewaremager.from_crawlercrawler 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\middleware.py,第53行,from_crawler 返回cls.from_settingscrawler.settings,crawler 文件c:\users\nino\py charmprojects\scraping\venv\lib\site packages\scrapy\middleware.py,第34行,从\u设置 mwcls=加载对象CLSPATH 文件c:\users\nino\pycharmprojects\scraping\venv\lib\site packages\scrapy\utils\misc.py,第46行,在load\u对象中 mod=导入模块 文件C:\Users\Nino\AppData\Local\Programs\Python37\lib\importlib\u init.py,第127行,在导入模块中 return _bootstrap._gcd_importname[级别:],包,级别 文件,第1006行,在_gcd_导入中 文件,第983行,在_find_和_load中 文件,第953行,在“查找”和“加载”中解锁 文件,第219行,在调用中删除了帧 文件,第1006行,在_gcd_导入中 文件,第983行,在_find_和_load中 文件,第965行,在_find_和_load_unlocked中 ModuleNotFoundError:没有名为“scrapy\u用户\u代理”的模块


再次尝试卸载并安装模块,以确保已为您的python版本安装该模块

pip卸载模块名称


您是否安装了scrapy用户代理?非常感谢。我用Pycharm安装了它,上面说安装成功了。但当我试图用pip卸载时,它说没有安装。所以在安装了pip之后,我的脚本就可以工作了!!非常感谢。