Python 我可以只使用Scrapy进行刮取和解析吗?

Python 我可以只使用Scrapy进行刮取和解析吗?,python,database,parsing,scrapy,Python,Database,Parsing,Scrapy,我对Scrapy是新手,我已经四处搜索过了,但似乎找不到任何关于我想做什么的答案。我想从预定义的网页列表(我不断增长的书签列表)中提取内容,并将相关内容提交到MySQL数据库,以便以后搜索索引。我不需要爬过这个列表之外的其他页面 我假设Scrapy不会将整个网页存储在数据库中,而只存储有效索引所需的相关部分。在上,它列出了Web爬行过程中涉及的9个步骤。对于我想做的事情,我只需要执行步骤4-8一次,然后使用项目管道将结果发送到我的数据库 为了以这种方式执行步骤4-8,是否可以使用Python代码

我对Scrapy是新手,我已经四处搜索过了,但似乎找不到任何关于我想做什么的答案。我想从预定义的网页列表(我不断增长的书签列表)中提取内容,并将相关内容提交到MySQL数据库,以便以后搜索索引。我不需要爬过这个列表之外的其他页面

我假设Scrapy不会将整个网页存储在数据库中,而只存储有效索引所需的相关部分。在上,它列出了Web爬行过程中涉及的9个步骤。对于我想做的事情,我只需要执行步骤4-8一次,然后使用项目管道将结果发送到我的数据库


为了以这种方式执行步骤4-8,是否可以使用Python代码仅从Scrapy调用适当的函数?我对Scrapy和Python都是新手,因此非常感谢您的建议

如果您不返回新请求,scrapy将不会下载其他内容。好的,谢谢。明白了。如果您不返回新请求,scrapy将不会下载其他内容。好的,谢谢。知道了。