Python 向flask API发送数百万个数据点

Python 向flask API发送数百万个数据点,python,api,flask,upload,flask-restful,Python,Api,Flask,Upload,Flask Restful,这个问题可能有点过于主观,但我正在寻找一种向FlaskAPI发送数百万个数据点的最佳方法 我目前的做法基本上如下: 发送作为JSON对象的数据点列表,以及发送与所有数据点相关的一些信息,例如收集数据点的人和日期 这将更新两个表,一个是记录人员、日期等的使用表,另一个是将数据点关联到给定使用的数据表。所有这些都作为对使用端点的一个POST请求发生 我担心这种方法在发送数百万个数据点时可能会超时 我正在寻找一种方法来解决这个问题,我一直在考虑的一些方法是 发送初始POST请求以创建使用,然后将修补程

这个问题可能有点过于主观,但我正在寻找一种向FlaskAPI发送数百万个数据点的最佳方法

我目前的做法基本上如下:

发送作为JSON对象的数据点列表,以及发送与所有数据点相关的一些信息,例如收集数据点的人和日期 这将更新两个表,一个是记录人员、日期等的使用表,另一个是将数据点关联到给定使用的数据表。所有这些都作为对使用端点的一个POST请求发生 我担心这种方法在发送数百万个数据点时可能会超时

我正在寻找一种方法来解决这个问题,我一直在考虑的一些方法是

发送初始POST请求以创建使用,然后将修补程序中的数据点作为修补程序发送到同一端点,或将POST发送到新的数据端点 在POST请求中发送csv,然后通过服务器上的csv进行解析
在网上找不到任何类似的问题,因此,无论您是通过json还是csv接收信息,都会保留大量的数据,看看这样做是否有行业标准或最佳实践。您可能希望缩短json键或更改json数据类型以节省空间


这在某种程度上取决于您是否使用api连接到自己的网站,因为如果是这样,您可能只需要使用js分割数据,并发送几个ajax请求,以防止在较慢的连接上超时。如果您希望其他人使用您的api,那么您可能需要查看上的最后一个答案

是的,这是我自己的网站,因此我也可以控制客户端