Python 正在尝试从脚本中的另一个位置运行scrapy爬虫程序

全部,

我正在尝试完全自动化我的刮片，它由3个步骤组成：

1-获取广告索引页列表（非零碎工作，出于各种原因） 2-从第一步中获得的索引页面中获取广告URL列表（零碎工作）

我的scrapy项目位于常用目录中：

C:\Python27\Scripts\GetAdUrlsFromIndex\u项目\GetAdUrlsFromIndex\spider\GetAdUrls\u spider.py （文件“GetAdUrls_spider”中的spider的名称为（name=“GetAdUrls”））

自动执行步骤1和步骤2的脚本位于以下目录中：

C:\Website\u DATA\SCRIPTS\StepByStepLauncher.py

我尝试使用Scrapy文档导入爬虫程序，并使用以下代码从脚本内部运行：

from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy.settings import Settings
from scrapy import log
from GetAdUrlsFromIndex.spiders.GetAdUrls_spider import getadurls

spider = getadurls(domain='website.com')
crawler = Crawler(Settings())
crawler.configure()
crawler.crawl(spider)
crawler.start()
log.start()
reactor.run() # the script will block here

不幸的是，当我尝试运行此脚本时，一直出现错误“没有名为GetAdUrlsFromIndex.spider.GetAdUrls\u spider的模块”。。我试着把工作目录换到几个不同的地方，我到处玩弄名字，似乎什么都不管用

---

如有任何帮助，我将不胜感激。。谢谢

如果在

C:\Python27\Scripts\getadurlsfromsindex\u project\getadurlsfromsindex

和

C:\Python27\Scripts\getadurlsfromsindex\u project\getadurlsfromsindex\spider

中确实有

\uuuu\uu init\uuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuu

import sys
from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy.settings import Settings
from scrapy import log

sys.path.append('C:/Python27/Scripts/GetAdUrlsFromIndex_project')
from GetAdUrlsFromIndex.spiders.GetAdUrls_spider import getadurls

spider = getadurls(domain='website.com')
crawler = Crawler(Settings())
crawler.configure()
crawler.crawl(spider)
crawler.start()
log.start()
reactor.run() # the script will block here

在您的

PYTHONPATH`中是否有

C:\Python27\Scripts\GetAdUrlsFromIndex\u项目`？您好。。。实际上我根本没有PYTHONPATH变量！！。我创建了一个并添加了这个，但仍然不起作用…文件夹
GetAdUrlsFromIndex
和
spider
是否包含
\uu init\uuuuuuuuuuuuuuuuuuupy
？是的，它们确实存在。。。两个文件夹都包含init.py。。然而，它们都是空白的。我需要在里面放些什么吗？谢谢！！成功了！！不客气。如果
没有名为…
的模块，则基本上是
PYTHONPATH的问题，可以通过这种方式“修复”。附言：顺便接受答案；）