迭代Python文件对象线程是否安全？

Question

在寻找这个问题的一个简洁的解决方案时,我想知道迭代Python文件对象是否是线程安全的.

from concurrent.futures import ThreadPoolExecutor
import sys, time

f = open("big_file")

def worker():
    running = True
    while running:
        try:
            line = next(f)
        except StopIteration:
            return
        # process line
        time.sleep(3)
        sys.stdout.write(line + "\n")

no_workers = 4
with ThreadPoolExecutor(max_workers=no_workers) as e:
    for _ in range(no_workers):
        e.submit(worker)

f.close()

我的问题是,如果上面的示例是安全的,或者如果没有,那么获取线程安全文件对象的简单方法是什么(用于逐行读取文件,不需要写入).

Answer 1

不，文件 I/O 不是线程安全的。锁定是一种解决方案，但我认为使用单个线程处理每个外部资源的选择效果更好。其他线程将工作请求发送到实例上的专用线程Queue.Queue（并提供自己的另一个队列，以防它们需要返回结果），专用线程将大部分时间花在等待.get该队列上，并且每当它获得请求它处理它，可能返回结果。