Python 通过多个线程将数据写入一个文件

Python 通过多个线程将数据写入一个文件,python,python-3.x,python-requests,Python,Python 3.x,Python Requests,如何使用ProcessPoolExecutor将数据从多个线程写入单个文件? 我面临着一个问题 Traceback (most recent call last): File "/usr/lib/python3.6/multiprocessing/queues.py", line 234, in _feed obj = _ForkingPickler.dumps(obj) File "/usr/lib/python3.6/multiprocessin

如何使用ProcessPoolExecutor将数据从多个线程写入单个文件? 我面临着一个问题

Traceback (most recent call last):
  File "/usr/lib/python3.6/multiprocessing/queues.py", line 234, in _feed
    obj = _ForkingPickler.dumps(obj)
  File "/usr/lib/python3.6/multiprocessing/reduction.py", line 51, in dumps
    cls(buf, protocol).dump(obj)
TypeError: cannot serialize '_io.TextIOWrapper' object
我的例子

  • ProcessPoolExecutor
    使用单独的进程,而不是线程

    如果需要线程,则需要
    ThreadPoolExecutor

    如果需要单独的流程,就不能共享这样的变量

  • 从多个线程/进程写入同一个文件可能很有挑战性。你想达到什么目标?也许有一个更简单的方法


我通过id从cassandra db异步获取数据(我应该处理24000个id),处理后,我应该将所有数据写入一个文件中。