我正在使用多处理库中的Pool.map迭代一个大型XML文件,并将word和ngram计数保存到一组三个redis服务器中.(它完全位于内存中)但由于某种原因,所有4个cpu内核在整个时间内都处于空闲状态.服务器有足够的RAM和iotop显示没有磁盘IO发生.
我有3个python线程和3个redis服务器在三个不同的端口上作为守护进程运行.每个Python线程都连接到所有三个服务器.
每台服务器上的redis操作数远低于它的基准测试数.
我找不到这个程序的瓶颈？什么可能是候选人？
python multiprocessing redis
multiprocessing ×1
python ×1
redis ×1