Python 在Scrapy中生成基于邮政编码的起始URL
我需要在我的scraper中生成start_URL,Scrapy将在其中填充邮政编码。我对那些不生成实际邮政编码的丢失邮件没什么意见,只要它们遵循#######格式(我不认为Scrapy会花很长时间检查10万页…) 我在另一个问题上发现了这一点,我希望它能以最少的编辑工作。(或者在scrapy中有更好的惯例来做这件事吗?)Python 在Scrapy中生成基于邮政编码的起始URL,python,regex,python-2.7,scrapy,Python,Regex,Python 2.7,Scrapy,我需要在我的scraper中生成start_URL,Scrapy将在其中填充邮政编码。我对那些不生成实际邮政编码的丢失邮件没什么意见,只要它们遵循#######格式(我不认为Scrapy会花很长时间检查10万页…) 我在另一个问题上发现了这一点,我希望它能以最少的编辑工作。(或者在scrapy中有更好的惯例来做这件事吗?) 我必须更改什么才能使其填写所有五位数字(例如00014)?代码会像那样工作吗?另外,我需要另一个(单独的)来填写州名称。类似地,除非有一种有效的方法告诉Python填写状态缩
我必须更改什么才能使其填写所有五位数字(例如00014)?代码会像那样工作吗?另外,我需要另一个(单独的)来填写州名称。类似地,除非有一种有效的方法告诉Python填写状态缩写,否则我不会介意丢失缩写。例如,www.example.com/AL/search.php和www.example.com/GA/search.php等。我只想让它用任意两个字母自动填充这两个字母-我如何填写def start_请求(self)?对于邮政编码,将其设置为
“%05d”
;这将告诉格式化程序使用零填充五个字符
对于州,我建议迭代列表:
for state in ["AL", "GA", ...]:
# use state: "www.example.com/%s/search.php" % state
for state in ["AL", "GA", ...]:
# use state: "www.example.com/%s/search.php" % state