Python Django和Scrapy层次结构的利弊
组织Django+Scrapy的更好方法是什么？我的目标是使用Django创建scrapy任务，并让scrapy填充Django数据库 我之前已经创建了一个scrapy和django项目，它们都位于根目录中，但是我有很多PATH和os.environ问题，在这些问题中，我有脚本来设置我的路径以使事情运行。我想避免这种情况 我看到了两种解决方案：Python Django和Scrapy层次结构的利弊,python,django,scrapy,Python,Django,Scrapy,组织Django+Scrapy的更好方法是什么？我的目标是使用Django创建scrapy任务，并让scrapy填充Django数据库 我之前已经创建了一个scrapy和django项目，它们都位于根目录中，但是我有很多PATH和os.environ问题，在这些问题中，我有脚本来设置我的路径以使事情运行。我想避免这种情况 我看到了两种解决方案： 启动一个Django项目，并使用scrapy_设置_模块环境创建一个scrapy子项目（请参见此处Mikhail的答案） 启动一个Scrapy项目，使用
每种解决方案的优缺点是什么？您是否计划从django视图启动这些琐碎的任务？。这通常不是一个好主意，因为琐碎的任务可能需要很长时间，而django视图在生命周期中是有限的。您应该将爬虫程序与web UI分离，并使用队列来调度零碎的任务。因为我使用的是django任务，所以我必须小心路径，并且必须编写一个运行Scrapy的脚本