Python 使用scrapy爬行时，使用相同内容（例如/产品）爬行URL

如何使用scrapy抓取多个具有相同条件的页面？示例：我想识别电子商务站点中不包含产品照片（或其他内容）的所有产品页面

start_url=[test.com/product]

在许多示例中，我看到起始url总是对应于单个页面

---

有可能吗？谢谢

如果要识别网页的所有项目，最好从一个页面（通常是网站的主页）开始，然后从那里开始爬网。您希望使用网站的页面，其中列出了您感兴趣的所有类别

使用scrapy，您可以定义爬行器应该遵循哪些链接以及应该解析哪些页面并将信息返回给您

---

所以这是可能的，而scrapy是一个很好的工具。

您检查了吗？谢谢@frank！我已经找到一个包含所有产品页面的页面。这样爬行它们会更容易！谢谢你的帮助

class SomewebsiteProductSpider(scrapy.Spider):
name = "test"
allowed_domains = ["test.com"]