python scrapy如何编写参数而不是使用cmd:在scrapy中使用自定义代码
我正在使用scrapy 0.20和puthon 2.7 我过去常在cmd中这样做python scrapy如何编写参数而不是使用cmd:在scrapy中使用自定义代码,python,python-2.7,scrapy,Python,Python 2.7,Scrapy,我正在使用scrapy 0.20和puthon 2.7 我过去常在cmd中这样做 -s JOBDIR=crawls/somespider-1 处理不适用的项目请注意,我已经更改了设置 我不想在cmd中使用它 是否还有其他方法可以在我的爬行器中的代码中键入它? 谢谢,这太容易了。使用pipelines.py中的dropitem删除项目。您可以使用自定义命令在程序内部对参数进行编码 使用自定义命令(例如:scrapy crawl mycommand) 您可以运行-s JOBDIR=crawls
-s JOBDIR=crawls/somespider-1
处理不适用的项目请注意,我已经更改了设置
我不想在cmd中使用它
是否还有其他方法可以在我的爬行器中的代码中键入它?
谢谢,这太容易了。使用pipelines.py中的dropitem删除项目。您可以使用自定义命令在程序内部对参数进行编码 使用自定义命令(例如:
scrapy crawl mycommand
)
您可以运行-s JOBDIR=crawls/somespider-1
例如:
创建一个目录commands
,其中包含scrapy.cfg
文件
在目录中创建一个文件mycommand.py
from scrapy.command import ScrapyCommand
from scrapy.cmdline import execute
class Command(ScrapyCommand):
requires_project = True
def short_desc(self):
return "This is your custom command"
def run(self, args, opts):
args.append('scrapy')
args.append('crawl')
args.append('spider')##add what ever your syntax needs.In my case i want to get "scrapy crawl spider" in cmd
execute(args)#send a list as parameter with command as a single element of it
现在转到cmd行并键入scrapy
mycommand
。然后你的魔法就准备好了:-)你能再澄清一下吗?我会给你一个样本,然后我会解释给你听。试着弄清楚它是如何工作的。如果你有问题,你可以问阿加尼,他明白我可以做这个self.jobdir='something
,对吗?让我们编辑这个主题,使新主题更相关。。