Scrapy python更改url
我在设法搜集有关医生的信息。我有以下url,但我想继续更改url的UserID=99并保存信息。我不知道如何放置循环之类的东西,不断更改url中的用户ID,以及何时更改Scrapy python更改url,python,json,scrapy,Python,Json,Scrapy,我在设法搜集有关医生的信息。我有以下url,但我想继续更改url的UserID=99并保存信息。我不知道如何放置循环之类的东西,不断更改url中的用户ID,以及何时更改 scrapy crawl sch-o items.json-t json它将所有内容保存到一个json文件中 class DmozSpider(Spider): name = "sch" allowed_domains = ["qchp.org.qa/en/"] start_urls = [
scrapy crawl sch-o items.json-t json
它将所有内容保存到一个json文件中
class DmozSpider(Spider):
name = "sch"
allowed_domains = ["qchp.org.qa/en/"]
start_urls = [
"http://www.qchp.org.qa/en/_layouts/SCH_Website/PractitionerDetails.aspx?UserID=990&IsDlg=1"
]
假设您想将
1
到100
之间的奇数替换为UserID=990
。然后做:
start_urls = []
for i in range(1, 100):
if i % 2 == 1:
start_urls.append("http://www.qchp.org.qa/en/_layouts/SCH_Website/PractitionerDetails.aspx?UserID=" + str(i) + "&IsDlg=1")
我得到了TypeError:无法将'str'和'int'对象串联在一起。我刚做到了。