Python 2.7 用于linkedin数据提取的scrapy linkedin
我正在使用scrapy-0.16从LinkedIn中提取数据Python 2.7 用于linkedin数据提取的scrapy linkedin,python-2.7,scrapy,Python 2.7,Scrapy,我正在使用scrapy-0.16从LinkedIn中提取数据 from scrapy.selector import HtmlXPathSelector from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor from scrapy.contrib.spiders import CrawlSpider, Rule from scrapy.http import Request fro
from scrapy.selector import HtmlXPathSelector
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.http import Request
from scrapy import log
from linkedin.items import LinkedinItem, PersonProfileItem
from os import path
from linkedin.parser.HtmlParser import HtmlParser
import os
import urllib
from bs4 import UnicodeDammit
from linkedin.db import MongoDBClient
错误来了
Traceback (most recent call last):
File "C:\Users\TAWANE DUDEZ\Desktop\linkedin\linkedin\spiders\LinkedinSpider.py", line 6, in <module>
from linkedin.items import LinkedinItem, PersonProfileItem
ImportError: No module named linkedin.items
回溯(最近一次呼叫最后一次):
文件“C:\Users\TAWANE DUDEZ\Desktop\linkedin\linkedin\spiders\linkedin Spider.py”,第6行,在
从linkedin.items导入LinkedinItem、PersonProfileItem
ImportError:没有名为linkedin.items的模块
找不到
linkedin.items
模块。我怀疑您试图从错误的目录运行scrapy crawl linkedin Spider
命令。尝试导航到C:\Users\TAWANE DUDEZ\Desktop\linkedin
,然后再次运行该命令
由于爬网程序现在正在启动,因此在开始爬网之前还需要运行MongoDB实例。正在使用的github项目的自述说明是键入
mongod
来启动一个实例。只是想核实一下,您确实安装了MongoDB和pymongo,对吗?显示您的目录结构……我无法让您进入正确的目录,但现在显示错误“无法连接,因为目标计算机主动拒绝连接。您在运行scrapy之前是否启动MongoDB实例?是否仍在运行该实例?”mongodb配置无法启动,因为我们已经解决了爬虫程序的原始导入错误问题,最好勾选此答案,然后为mongodb配置问题创建一个新问题,因为这是两个不同的问题。:)谢谢您的帮助,但是请为我提供mongodb指南,因为代码仍然不起作用