Web scraping 如何将scrapy shell输出/响应存储到变量而不是html文件

Web scraping 如何将scrapy shell输出/响应存储到变量而不是html文件,web-scraping,scrapy,Web Scraping,Scrapy,我正在尝试使用cmdline.execute将html代码存储到名为response的变量中,如下面的代码所示,但无法在scrapy shell中存储和程序代码中断,有人能告诉我如何将原始html存储到变量中吗 进口羊瘙痒 从scrapy导入cmdline linkedinURL=“” response=cmdline.execute(“scrapy shell.split())) 打印(响应)您可以这样将原始html存储到变量: class MySpider(scrapy.Spider):

我正在尝试使用cmdline.execute将html代码存储到名为response的变量中,如下面的代码所示,但无法在scrapy shell中存储和程序代码中断,有人能告诉我如何将原始html存储到变量中吗

进口羊瘙痒

从scrapy导入cmdline

linkedinURL=“”

response=cmdline.execute(“scrapy shell.split()))


打印(响应)

您可以这样将原始html存储到变量:

 class MySpider(scrapy.Spider):
        def parse(self, res):
            with open(dynamic_file_name_function(res.url), 'w') as f:
                f.write(res.body)
如果不需要动态文件名,只需执行以下操作:

 class MySpider(scrapy.Spider):
        def parse(self, res):
            with open(your_file_path, 'w') as f:
                f.write(res.body)

@vezunchik的可能副本显然不是副本。链接问题旨在存储
请求.post
的值,而此问题旨在存储由
cmdline.execute启动的操作的结果。完全不同的情景。嗯,是的,是我的错。谢谢。这是一个创建动态文件名的函数。如果不需要动态文件名,您可以删除它。我已经更新了答案