Python 如何处理读取、提取和；使用Angular客户端和Django服务器保存超大csv或excel数据

我已经实现了一个后端功能，可以上传CSV或excel文件，然后服务器（Django API）将读取所有数据并保存到数据库中，但我觉得这不是最好的方法，希望得到建议 关于这个

我不明白为什么服务器需要读取和验证CSV文件，而客户端（Angular应用程序）可以执行这项工作。客户端可以读取并验证文件，然后将数据发送到服务器

---

然后服务器将完成剩余的工作，将数据保存到数据库中。但是我想起来了，假设文件包含一百万个条目，这意味着服务器端点将添加一百万个条目。这将导致性能问题。处理这个问题的最佳方法是什么？

我实现了一个Angular/Python应用程序，它可以处理大型Excel文件，即使有多个工作表，最好的方法是让客户端将文件上传到服务器，然后服务器完成剩下的工作

---

处理过程可能需要很多时间，因此您可能需要将文件保存到临时位置，并将其作为作业进行异步处理。此作业将读取您的文件，处理每一行并将数据保存到数据库中。或者，它还可以将进度和作业状态保存到数据库中，因此，您甚至可以让客户端跟踪给定作业ID的处理进度。

我实现了一个Angular/Python应用程序，用于处理大型Excel文件，即使有多张工作表，最好的方法是让客户端将文件上传到服务器，然后服务器完成其余的工作

---

处理过程可能需要很多时间，因此您可能需要将文件保存到临时位置，并将其作为作业进行异步处理。此作业将读取您的文件，处理每一行并将数据保存到数据库中。或者，它还可以将进度和作业状态保存到数据库中，这样，您甚至可以让客户端在给定作业ID的情况下跟踪处理进度。

我完全不理解您的断言。客户端无法写入数据库，这是服务器的工作。所以你需要将数据发送到服务器。@DanielRoseman我想这不是他的重点。这个文件的用例是什么？是否会对条目进行评估，或者是否会对其进行任何查询？如果没有，为什么不保存hole文件？我无法想象这样一种情况：在前端加载数据，然后向后端发送数百万条单独的帖子，比将整个文件发送到后端并在后端批量插入数据更有效或更高效。@DanielRoseman我知道，如果我不清楚，我试图解决的问题是，客户端已经处理了csv文件，并且正在将数据发送到服务器。当然，服务器会将数据写入数据库。假设客户处理了一百万个用户，那么处理这个问题的最佳方法是什么？@DanielRoseman说，我们有一个csv文件，其中包含一百万个用户条目，列为firstname、lastname和email。这个数据是服务器需要的，所以它可以写入并保存到数据库中。我完全不理解你的断言。客户端无法写入数据库，这是服务器的工作。所以你需要将数据发送到服务器。@DanielRoseman我想这不是他的重点。这个文件的用例是什么？是否会对条目进行评估，或者是否会对其进行任何查询？如果没有，为什么不保存hole文件？我无法想象这样一种情况：在前端加载数据，然后向后端发送数百万条单独的帖子，比将整个文件发送到后端并在后端批量插入数据更有效或更高效。@DanielRoseman我知道，如果我不清楚，我试图解决的问题是，客户端已经处理了csv文件，并且正在将数据发送到服务器。当然，服务器会将数据写入数据库。假设客户处理了一百万个用户，那么处理这个问题的最佳方法是什么？@DanielRoseman说，我们有一个csv文件，其中包含一百万个用户条目，列为firstname、lastname和email。服务器需要这些数据，以便将其写入并保存到数据库中。