Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/284.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/python-2.7/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
python scrapy如何编写参数而不是使用cmd:在scrapy中使用自定义代码_Python_Python 2.7_Scrapy - Fatal编程技术网

python scrapy如何编写参数而不是使用cmd:在scrapy中使用自定义代码

python scrapy如何编写参数而不是使用cmd:在scrapy中使用自定义代码,python,python-2.7,scrapy,Python,Python 2.7,Scrapy,我正在使用scrapy 0.20和puthon 2.7 我过去常在cmd中这样做 -s JOBDIR=crawls/somespider-1 处理不适用的项目请注意,我已经更改了设置 我不想在cmd中使用它 是否还有其他方法可以在我的爬行器中的代码中键入它? 谢谢,这太容易了。使用pipelines.py中的dropitem删除项目。您可以使用自定义命令在程序内部对参数进行编码 使用自定义命令(例如:scrapy crawl mycommand) 您可以运行-s JOBDIR=crawls

我正在使用scrapy 0.20和puthon 2.7

我过去常在cmd中这样做

 -s JOBDIR=crawls/somespider-1
处理不适用的项目请注意,我已经更改了设置

我不想在cmd中使用它

是否还有其他方法可以在我的爬行器中的代码中键入它?


谢谢,这太容易了。使用pipelines.py中的dropitem删除项目。您可以使用自定义命令在程序内部对参数进行编码

使用自定义命令(例如:
scrapy crawl mycommand

您可以运行
-s JOBDIR=crawls/somespider-1

例如:

创建一个目录
commands
,其中包含
scrapy.cfg
文件 在目录中创建一个文件
mycommand.py

from scrapy.command import ScrapyCommand
from scrapy.cmdline import execute



class Command(ScrapyCommand):
    requires_project = True

    def short_desc(self):
        return "This is your custom command"


    def run(self, args, opts):
        args.append('scrapy')
        args.append('crawl')
        args.append('spider')##add what ever your syntax needs.In my case i want to get "scrapy crawl spider" in cmd
        execute(args)#send a list as parameter with command as a single element of it

现在转到cmd行并键入scrapy
mycommand
。然后你的魔法就准备好了:-)

你能再澄清一下吗?我会给你一个样本,然后我会解释给你听。试着弄清楚它是如何工作的。如果你有问题,你可以问阿加尼,他明白我可以做这个
self.jobdir='something
,对吗?让我们编辑这个主题,使新主题更相关。。