如何设置Scrapy、Anaconda 3和PyCharm 2018.3.5

如何设置Scrapy、Anaconda 3和PyCharm 2018.3.5,scrapy,pycharm,anaconda,python-3.7,Scrapy,Pycharm,Anaconda,Python 3.7,我刚刚开始尝试PyCharm 2018.3.5和Anaconda 2018.12,但是我很难用Scrapy来设置它。因此,我想请你们大家提供一些帮助,以使事情能够顺利进行。为了测试Scrapy是否能与PyCharm和Anaconda一起工作,我遵循以下内容。情况似乎并非如此。安装是在Windows 10计算机上完成的,并带有最新更新 我还包括了安装过程的每个步骤,希望您能够指出我的错误 在默认位置安装Anaconda 在默认位置安装PyCharm 安装OpenSSL(对于这个版本的PyCharm

我刚刚开始尝试PyCharm 2018.3.5和Anaconda 2018.12,但是我很难用Scrapy来设置它。因此,我想请你们大家提供一些帮助,以使事情能够顺利进行。为了测试Scrapy是否能与PyCharm和Anaconda一起工作,我遵循以下内容。情况似乎并非如此。安装是在Windows 10计算机上完成的,并带有最新更新

我还包括了安装过程的每个步骤,希望您能够指出我的错误

  • 在默认位置安装Anaconda
  • 在默认位置安装PyCharm
  • 安装OpenSSL(对于这个版本的PyCharm,您需要安装它才能找到包;链接:)
  • 我继续启动PyCharm并使用以下设置创建我的第一个Scrapy项目:
  • 我继续等待PyCharm完成所有操作,然后打开Anaconda Navigator,我将使用它安装scrapybeautifulsoup4。下图显示了结果:
  • 在PyCharm中,还可以看到Scrapy:
  • 接下来,我进入资源管理器并导航到
    C:\Users\admin Man\PycharmProjects\Test
    (请注意,这与步骤4中的目录相同)
  • 因此,首先我尝试使用命令提示符,但失败了:
  • 我读到这是因为Anaconda提示符对路径做了一些操作。因此,我在Anaconda提示符中使用了以下命令

    介于两者之间的一个小问题。我想知道如何使它在cmd.exe中工作,就像我在Anaconda提示符中所做的那样,而不激活环境。我想回答这个问题会让我更好地理解Anaconda prompt的功能

  • 此操作成功,现在我有以下目录:
  • 所以我只是按照在线教程创建了以下spider

  • 然后我设置了以下配置
  • 我尝试使用python控制台运行并模拟选项,但都失败了。我检查了是否有请求包和请求2.21.0

    我得到的错误如下:

    C:\ProgramData\Anaconda3\envs\Test\python.exe C:/ProgramData/Anaconda3/envs/Test/Lib/site-packages/scrapy/cmdline.py crawl quotes
    Traceback (most recent call last):
      File "C:/ProgramData/Anaconda3/envs/Test/Lib/site-packages/scrapy/cmdline.py", line 8, in <module>
        import scrapy
      File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\scrapy\__init__.py", line 27, in <module>
        from . import _monkeypatches
      File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\scrapy\_monkeypatches.py", line 20, in <module>
        import twisted.persisted.styles  # NOQA
      File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\twisted\persisted\styles.py", line 21, in <module>
        from twisted.python.compat import _PY3, _PYPY
      File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\twisted\python\__init__.py", line 11, in <module>
        from .compat import unicode
      File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\twisted\python\compat.py", line 605, in <module>
        from http import cookiejar as cookielib
      File "C:\ProgramData\Anaconda3\envs\Test\Lib\site-packages\scrapy\http\__init__.py", line 8, in <module>
        from scrapy.http.headers import Headers
      File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\scrapy\http\__init__.py", line 10, in <module>
        from scrapy.http.request import Request
      File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\scrapy\http\request\__init__.py", line 8, in <module>
        from w3lib.url import safe_url_string
      File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\w3lib\url.py", line 18, in <module>
        from six.moves.urllib.request import pathname2url, url2pathname
      File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\six.py", line 92, in __get__
        result = self._resolve()
      File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\six.py", line 160, in _resolve
        module = _import_module(self.mod)
      File "C:\ProgramData\Anaconda3\envs\Test\lib\site-packages\six.py", line 82, in _import_module
        __import__(name)
      File "C:\ProgramData\Anaconda3\envs\Test\lib\urllib\request.py", line 88, in <module>
        import http.client
    ModuleNotFoundError: No module named 'http.client'
    
    Process finished with exit code 1
    
    C:\ProgramData\Anaconda3\envs\Test\python.exe C:/ProgramData/Anaconda3/envs/Test/Lib/site packages/scrapy/cmdline.py爬网引号
    回溯(最近一次呼叫最后一次):
    文件“C:/ProgramData/Anaconda3/envs/Test/Lib/site packages/scrapy/cmdline.py”,第8行,在
    进口羊瘙痒
    文件“C:\ProgramData\Anaconda3\envs\Test\lib\site packages\scrapy\\uuuu init\uuuu.py”,第27行,在
    从…起导入\u monkeypatches
    文件“C:\ProgramData\Anaconda3\envs\Test\lib\site packages\scrapy\\u monkeypatches.py”,第20行,在
    导入twisted.persistend.style#NOQA
    文件“C:\ProgramData\Anaconda3\envs\Test\lib\site packages\twisted\persistend\styles.py”,第21行,在
    从twisted.python.compat导入_PY3,_PYPY
    文件“C:\ProgramData\Anaconda3\envs\Test\lib\site packages\twisted\python\\uuuu init\uuuu.py”,第11行,在
    从.compat导入unicode
    文件“C:\ProgramData\Anaconda3\envs\Test\lib\site packages\twisted\python\compat.py”,第605行,在
    从http将cookiejar作为cookielib导入
    文件“C:\ProgramData\Anaconda3\envs\Test\Lib\site packages\scrapy\http\\uuuu init\uuuu.py”,第8行,在
    从scrapy.http.headers导入头
    文件“C:\ProgramData\Anaconda3\envs\Test\lib\site packages\scrapy\http\\uuuu init\uuuu.py”,第10行,在
    从scrapy.http.request导入请求
    文件“C:\ProgramData\Anaconda3\envs\Test\lib\site packages\scrapy\http\request\ \uuuuu init\uuuuu.py”,第8行,在
    从w3lib.url导入安全url\u字符串
    文件“C:\ProgramData\Anaconda3\envs\Test\lib\site packages\w3lib\url.py”,第18行,在
    从six.moves.urllib.request导入路径名2url、url2pathname
    文件“C:\ProgramData\Anaconda3\envs\Test\lib\site packages\six.py”,第92行,在__
    结果=自我解决()
    文件“C:\ProgramData\Anaconda3\envs\Test\lib\site packages\six.py”,第160行,在\u resolve中
    模块=\u导入\u模块(self.mod)
    文件“C:\ProgramData\Anaconda3\envs\Test\lib\site packages\six.py”,第82行,在导入模块中
    __导入(名称)
    文件“C:\ProgramData\Anaconda3\envs\Test\lib\urllib\request.py”,第88行,在
    导入http.client
    ModuleNotFoundError:没有名为“http.client”的模块
    进程已完成,退出代码为1
    
    有人知道我怎么修吗?此外,我还尝试将工作目录设置为其他内容,但我不知道设置到哪里,我当然尝试了项目目录

    实际上,我可以找到它似乎缺失的模块(见下文):


    好吧,我已经找到答案了。该问题与PyCharm 2018.3.5有关。我想我需要等到PyCharm 2019.1发布

    资料来源: