use*_*820 1 python python-multithreading python-2.7
我以前从未使用过多处理模块。
有没有办法将 for 循环变成并发子进程。喜欢
for i in xrange(10): list.append(i)
Run Code Online (Sandbox Code Playgroud)
而不是顺序,让它并行?
我尝试使用队列模块
q = Queue.Queue()
for i in xrange(10):
q.put(i)
def addto(q):
new.append(q.get(block=False))
processes = [Process(target=addto, args=(q,))]
for p in processes:
p.start()
for p in processes:
p.join()
Run Code Online (Sandbox Code Playgroud)
它给出了一个很长的错误,我粘贴了最后一个:
C:\WinPython-64bit-2.7.3.3\python-2.7.3.amd64\lib\pickle.pyc in save_global(self, obj, name, pack)
746 raise PicklingError(
747 "Can't pickle %r: it's not found as %s.%s" %
--> 748 (obj, module, name))
749 else:
750 if klass is not obj:
PicklingError: Can't pickle <type 'thread.lock'>: it's not found as thread.lock
Run Code Online (Sandbox Code Playgroud)
我也经常看到这个:
processes = [Process(target=func, args=(q,x)) for i in some iterable]
Run Code Online (Sandbox Code Playgroud)
所以好吧,有一个 func(q,x) 好吧,我有一个 map() 或 for 循环/同时进入我的函数 func() 那么为什么还要在进程中迭代?我不想使用 process 循环整个函数,而只是将这些特定循环变成并行进程。为什么要使用 args 迭代目标函数?我的意思是当我已经 q.put 它?
如果我这样做怎么办
processes = Process(target=addto, args=(q,)).start()
Run Code Online (Sandbox Code Playgroud)
Queue.Queue用于线程安全队列,线程原语不能转移到其他进程。你想要multiprocessing.Queue;简单地替换
import Queue
q = Queue.Queue()
Run Code Online (Sandbox Code Playgroud)
和
import multiprocessing
q = multiprocessing.Queue()
Run Code Online (Sandbox Code Playgroud)
此外,new必须是 类型multiprocessing.managers.list。
但是,请注意,您只是在复制multiprocessing.Pool; 你可以写
import multiprocessing
new = multiprocessing.Manager().list()
def addto(val):
new.append(val)
pool = multiprocessing.Pool()
for i in xrange(10):
pool.apply_async(addto, (i,))
pool.close()
pool.join()
print(new)
Run Code Online (Sandbox Code Playgroud)