在Python文件对象上迭代是否是线程安全的?
在寻找一个简洁的解决方案时,我想知道在Python文件对象上迭代是否是线程安全的在Python文件对象上迭代是否是线程安全的?,python,multithreading,Python,Multithreading,在寻找一个简洁的解决方案时,我想知道在Python文件对象上迭代是否是线程安全的 from concurrent.futures import ThreadPoolExecutor import sys, time f = open("big_file") def worker(): running = True while running: try: line = next(f) except StopIteratio
from concurrent.futures import ThreadPoolExecutor
import sys, time
f = open("big_file")
def worker():
running = True
while running:
try:
line = next(f)
except StopIteration:
return
# process line
time.sleep(3)
sys.stdout.write(line + "\n")
no_workers = 4
with ThreadPoolExecutor(max_workers=no_workers) as e:
for _ in range(no_workers):
e.submit(worker)
f.close()
我的问题是,如果上面的示例是安全的,或者如果不是,那么获取线程安全文件对象的简单方法是什么(对于逐行读取文件,不需要写入)。否,文件I/O不是线程安全的。锁定是一种解决方案,但我认为使用单个线程处理每个外部资源的选项效果更好。其他线程将工作请求发送到
队列上的专用线程。Queue
实例(并提供自己的另一个队列,以防需要返回结果),专用线程将其大部分时间花费在该队列上的。get
上,每当收到请求时,它都会处理该请求,可能会返回结果 非常安全的方法是立即阅读它,然后遍历每一行。这能满足你的需要吗?@Tadeck很遗憾不能,因为文件太大,无法放入内存