小编bel*_*007的帖子

我想在一个站点批量下载网页.我的'urls.txt'文件中有5000000个网址链接.这大约是300M.如何使多线程链接这些网址并下载这些网页？或批量如何下载这些网页？

我的想法:

with open('urls.txt','r') as f:
    for el in f:
        ##fetch these urls

或扭曲？

它有一个很好的解决方案吗？