下载HTML页面的网页爬虫是什么?

Cir*_*rem 3 html web-crawler

我正在寻找一个网页爬虫/蜘蛛下载单个页面.有什么好的(最好是免费的)产品支持这个?

Uns*_*ned 7

wgetcurl想到.你的要求到底是什么?您是否需要递归抓取页面,或只下载特定的URL?wget可以做到这两点.