Python 使用Scrapy来使用网站';s搜索函数

Python 使用Scrapy来使用网站';s搜索函数,python,web-scraping,scrapy,Python,Web Scraping,Scrapy,我是一个使用Scrapy的新手,刚刚开始使用它 我刚刚发现自己被困在一个部件上,因为我似乎在网上找不到任何东西,在stackoverflow上也找不到任何类似的东西 我基本上是在读一个.csv文件中的几行,我想使用这个网站上的搜索功能“ 我应该如何解决这个问题?首先,尝试确定网站中使用的搜索端点(即本场景中的collectorsfrenzy.com/search?q={query})。一旦你明白了这一点,就把你的搜索词附加到它上面,并把它作为抓取和刮取结果内容的起点。该网站似乎使用了以下搜索模式

我是一个使用Scrapy的新手,刚刚开始使用它

我刚刚发现自己被困在一个部件上,因为我似乎在网上找不到任何东西,在stackoverflow上也找不到任何类似的东西

我基本上是在读一个.csv文件中的几行,我想使用这个网站上的搜索功能“


我应该如何解决这个问题?

首先,尝试确定网站中使用的搜索端点(即本场景中的
collectorsfrenzy.com/search?q={query}
)。一旦你明白了这一点,就把你的搜索词附加到它上面,并把它作为抓取和刮取结果内容的起点。

该网站似乎使用了以下搜索模式[{query}],所以把你的搜索词附加到它上面,并将结果网页刮除。@Grainier-请将您对该问题的评论作为答案添加,以便其被接受-评论可能会随着时间的推移而丢失,但被接受的答案不会被删除,当然,这将增加您的代表性-推广到“尝试搜索并查看搜索结果中URL的模式,例如,在您引用的网站上,这是…”