我有一个大文本文件,我想处理每一行(做一些操作)并将它们存储在数据库中.由于单个简单程序花费的时间太长,我希望它可以通过多个进程或线程来完成.每个线程/进程应从该单个文件中读取不同的数据(不同的行),并对其数据(行)执行一些操作并将它们放入数据库中,以便最终处理完所有数据并进行处理.数据库与我需要的数据一起转储.
但我无法弄清楚如何处理这个问题.
python multithreading multiprocessing
Python搁置模块是否内置了任何保护以确保两个进程不同时写入文件?
python shelve
python ×2
multiprocessing ×1
multithreading ×1
shelve ×1