绕过os线程限制的编程策略?

190*_*mer 3 python multithreading

场景:我们有一个python脚本,可以同时检查数千个代理.该程序使用每个代理1个线程来加速该过程.当它到达1007线程时,脚本因线程限制而崩溃.
我的解决方案是:一个全局变量,当线程产生时递增,并在线程完成时递减.产生线程的函数监视变量,以便不达到限制.
朋友,你的解决方案是什么?

谢谢你的回答.

R S*_*hko 5

你想干什么非阻塞I/O与选择模块.

有几种不同的具体技术.select.select应该适用于每个主要平台.还有其他更高效的变体(如果您同时检查数万个连接可能很重要),但您需要为特定平台编写代码.