在Python文件对象上迭代是否是线程安全的?

在Python文件对象上迭代是否是线程安全的?,python,multithreading,Python,Multithreading,在寻找一个简洁的解决方案时,我想知道在Python文件对象上迭代是否是线程安全的 from concurrent.futures import ThreadPoolExecutor import sys, time f = open("big_file") def worker(): running = True while running: try: line = next(f) except StopIteratio

在寻找一个简洁的解决方案时,我想知道在Python文件对象上迭代是否是线程安全的

from concurrent.futures import ThreadPoolExecutor
import sys, time

f = open("big_file")

def worker():
    running = True
    while running:
        try:
            line = next(f)
        except StopIteration:
            return
        # process line
        time.sleep(3)
        sys.stdout.write(line + "\n")

no_workers = 4
with ThreadPoolExecutor(max_workers=no_workers) as e:
    for _ in range(no_workers):
        e.submit(worker)

f.close()

我的问题是,如果上面的示例是安全的,或者如果不是,那么获取线程安全文件对象的简单方法是什么(对于逐行读取文件,不需要写入)。

否,文件I/O不是线程安全的。锁定是一种解决方案,但我认为使用单个线程处理每个外部资源的选项效果更好。其他线程将工作请求发送到
队列上的专用线程。Queue
实例(并提供自己的另一个队列,以防需要返回结果),专用线程将其大部分时间花费在该队列上的
。get
上,每当收到请求时,它都会处理该请求,可能会返回结果

非常安全的方法是立即阅读它,然后遍历每一行。这能满足你的需要吗?@Tadeck很遗憾不能,因为文件太大,无法放入内存