alt*_*urt 2 python multithreading segmentation-fault stack-size
一个Web爬虫脚本,最多可生成500个线程,每个线程基本上都会请求从远程服务器提供的某些数据,每个服务器的回复在内容和大小上与其他服务器不同.
我正在为线程设置stack_size为756K
threading.stack_size(756*1024)
这使我能够拥有足够数量的线程并完成大部分工作和请求.但是由于某些服务器的响应比其他服务器更大,并且当线程得到那种响应时,脚本会死于SIGSEGV.
stack_sizes超过756K使得无法同时拥有所需数量的线程.
关于如何在没有崩溃的情况下继续使用给定的stack_size的任何建议？以及如何获得任何给定线程的当前使用的stack_size？