Python 在Django中向用户显示粗略的结果

我对Python非常陌生，我正在尝试将Scrapy与Django集成

以下是我试图实现的目标：

用户提交要删除的URL

URL已被删除

刮取的数据在屏幕中返回给用户

用户分配属性（如有必要），然后将其保存到数据库中

---

实现这一目标的最佳方式是什么？我玩过Django Dynamic Scraper，但我认为我最好还是保持对Scrapy的控制

在抓取另一个网站时保留django请求可能不是最好的主意，这个流程最好是异步完成的，这意味着，释放django请求并有另一个流程来处理抓取，我想这对新手来说不是一件容易的事情，但请尽量容忍我

流应该如下所示：

用户提交请求从另一个网站获取一些数据

爬行器爬网在与django不同的进程上启动，释放用户请求

spider将项目管道化到某些数据存储（数据库）

用户循环请求该数据时，django根据插入到数据存储的数据更新用户

---

通过直接从python代码中启动scrapy spider，使用工具（如，也请参见）或使用python的

子流程在新流程中启动scrapy spider，或者更好地使用来管理这些spider，在抓取另一个网站时按住django请求可能不是最好的主意，这个流程最好是异步完成的，这意味着，释放django请求并有另一个处理刮片的过程，我想这对新手来说不是一件容易的事情，但请尽量容忍我

流应该如下所示：

用户提交请求从另一个网站获取一些数据
爬行器爬网在与django不同的进程上启动，释放用户请求
spider将项目管道化到某些数据存储（数据库）
用户循环请求该数据时，django根据插入到数据存储的数据更新用户
通过直接从python代码中启动它，使用工具（如，也请参见），或者使用python的
子流程在新流程中启动它，或者更好地使用来管理这些爬行器，可以拍摄一个刮屑爬行器！因为我是新来的，对编程一无所知，所以我没有想到每一个都是请求。我必须更好地让自己熟悉这个概念。如果我理解正确，这意味着数据将直接发送到数据库（而不是根据需要首先分配属性）。然后，数据将被调用回django视图，在该视图中，用户可以操作/验证数据并设置所需的属性（因此，基本上，在调用回视图之前，这些项的属性将为空字符串或null）。是的，在这种情况下，我猜页面将逐渐构建，或者会有一个标志来标记数据已准备就绪，在任何情况下，spider和web服务器之间的通信都应该通过数据库进行，并且服务器应该定期请求数据，另外请注意，如果用户关闭浏览器，它不会更改流，数据可以等待他使用，您是否可以为我指出如何在django中标记该数据的方向？甚至只是要在docs/google中查找的术语名称。最后一点注意：由于我不希望这些数据在被分析之前成为一个更大系统的一部分，所以使用一个名为“分析”的布尔值，还是将它们放在某个单独的表中更明智？首先注意，从django调用数据库只由用户发起，这意味着调用来自用户浏览器，django不启动或处理任何内容，只要在用户请求时从数据库中提取数据，所有的清理、匹配、更改和分析都由scrapy完成，除此之外，请看scrapy如何与django配合使用：如果要异步执行，则最好使用tornado框架：‎有趣！因为我是新来的，对编程一无所知，所以我没有想到每一个都是请求。我必须更好地让自己熟悉这个概念。如果我理解正确，这意味着数据将直接发送到数据库（而不是根据需要首先分配属性）。然后，数据将被调用回django视图，在该视图中，用户可以操作/验证数据并设置所需的属性（因此，基本上，在调用回视图之前，这些项的属性将为空字符串或null）。是的，在这种情况下，我猜页面将逐渐构建，或者会有一个标志来标记数据已准备就绪，在任何情况下，spider和web服务器之间的通信都应该通过数据库进行，并且服务器应该定期请求数据，另外请注意，如果用户关闭浏览器，它不会更改流，数据可以等待他使用，您是否可以为我指出如何在django中标记该数据的方向？甚至只是要在docs/google中查找的术语名称。最后一点注意：由于我不希望这些数据在被分析之前成为一个更大系统的一部分，所以使用一个名为“分析”的布尔值，还是将它们放在某个单独的表中更明智？首先注意，从django调用数据库只由用户发起，这意味着调用来自用户浏览器，django不启动或处理任何内容，只要在用户请求时从数据库中提取数据，所有的清理、匹配、更改和分析都由scrapy完成，除此之外，请看scrapy如何与django配合使用：如果要异步执行，则最好使用tornado框架：‎