Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/database/9.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python多处理进行多个api调用_Python_Database_Api_Multiprocessing_Python Multiprocessing - Fatal编程技术网

Python多处理进行多个api调用

Python多处理进行多个api调用,python,database,api,multiprocessing,python-multiprocessing,Python,Database,Api,Multiprocessing,Python Multiprocessing,我正试图通过多处理和一次调用多个api来加速我的代码。目前我正在进行一个api调用,从那里获取所需的数据,然后将它们插入数据库。它能工作,但速度很慢。我需要在数据库中有大约7-8亿用户,以目前的速度,大约需要200-250天。如何进行多个api调用 导入回溯 导入请求 导入json 导入系统 从时间导入时间,睡眠 从多处理导入进程,队列 从io导入字节io 导入imagehash 从PIL导入图像 导入sqlite3 从多处理导入进程 从多处理导入池作为线程池 最小值=7960265729 最大

我正试图通过多处理和一次调用多个api来加速我的代码。目前我正在进行一个api调用,从那里获取所需的数据,然后将它们插入数据库。它能工作,但速度很慢。我需要在数据库中有大约7-8亿用户,以目前的速度,大约需要200-250天。如何进行多个api调用

导入回溯
导入请求
导入json
导入系统
从时间导入时间,睡眠
从多处理导入进程,队列
从io导入字节io
导入imagehash
从PIL导入图像
导入sqlite3
从多处理导入进程
从多处理导入池作为线程池
最小值=7960265729
最大值=9080098567
数据库位置='D:/Script/steam\u database.db'
键=[]
池大小=32
图像_散列=[]
def队列冲洗器(队列,冲洗限制=80,温度=0):
connection=sqlite3.connect(数据库位置)
cursor=connection.cursor()
cursor.execute(“如果不存在,则创建表用户(id整数主键自动递增、哈希文本、配置文件文本)”)
commit()连接
尽管如此:
如果(queue.qsize()

谢谢。

这不能百分之百地解决您的问题,但我看到您正在将文本插入sqlite文件,您应该将整个内容下载到csv中,并使用execute cursor.executemany而不是cursor.execute。插入速度更快。
下载1次需要多长时间?

嘿,谢谢你的帮助。我会试试看,我不知道下载一个需要多长时间,但目前的脚本每分钟吸引1500-2000个用户。有很多方法可以在php中完成这一切,并在一天内获得整个steam数据库,但我不知道如何实现