Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/359.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 使用部分URL作为字典中的键刮取页面_Python_Web Scraping_Scrapy - Fatal编程技术网

Python 使用部分URL作为字典中的键刮取页面

Python 使用部分URL作为字典中的键刮取页面,python,web-scraping,scrapy,Python,Web Scraping,Scrapy,我是Python的新手,请原谅 我想刮吨的网页和我的URL的一部分是我的字典的关键。我怎样才能用最少的时间把它们擦掉呢?如果可能的话,可以一次全部完成,也可以循环完成 以下是我的代码: import scrapy class ExampleSpider(scrapy.Spider): name = "Example" start_urls = [ 'https://example.com/XXX', 'https://exa

我是Python的新手,请原谅

我想刮吨的网页和我的URL的一部分是我的字典的关键。我怎样才能用最少的时间把它们擦掉呢?如果可能的话,可以一次全部完成,也可以循环完成

以下是我的代码:

import scrapy

class ExampleSpider(scrapy.Spider):
    name = "Example"

    start_urls = [
        'https://example.com/XXX',
        'https://example.com/YYY'
    ]
我的XXX和YYY是我字典中的关键


任何帮助都将不胜感激!多谢各位

如果您只使用字典中的键,那么您不妨将其放入一个仅包含键的列表中

dictionary_example = {'link-end': 'example one'}
url_parts = list(dictionary_example)
然后可以使用for循环连接新创建的列表中的每个键

start_urls = []
for url in url_parts:
    start_urls.append('https://example.com/XXX'+url)