NodeJS 使用 node-crawler 或 simplecrawler 进行 Web 爬行

Question

我是网络爬虫的新手，我需要一些关于这两个 Node JS 爬虫的指导。

目标：我的目标是抓取网站并仅获取该域内的内部（本地）URL。我对任何页面数据或抓取不感兴趣。只是网址。

我的困惑：当使用node-crawler或simplecrawler时，它们是否必须在返回响应之前下载整个页面？有没有办法只找到一个 URL，ping 可能会执行一些 get 请求，如果 200 响应，则只需继续下一个链接，而无需实际请求整个页面数据？

是否有其他 NodeJS 爬虫或蜘蛛可以仅请求和记录 URL？我关心的是使爬行尽可能轻量。

先感谢您。

Answer 1

仅抓取网站的 HTML 页面通常是一个非常轻量级的过程。还需要下载 HTML 正文的响应正文才能爬网站点，因为会在 HTML 中搜索其他 URL。

simplecrawler 是可配置的，这样您就可以避免从网站下载图像等。下面是一个片段，您可以使用它来记录爬虫访问的 URL，并避免下载图像资源。

var Crawler = require("simplecrawler");
var moment = require("moment");
var cheerio = require("cheerio");

var crawler = new Crawler("http://example.com");

function log() {
    var time = moment().format("HH:mm:ss");
    var args = Array.from(arguments);

    args.unshift(time);
    console.log.apply(console, args);
}

crawler.downloadUnsupported = false;
crawler.decodeResponses = true;

crawler.addFetchCondition(function(queueItem) {
    return !queueItem.path.match(/\.(zip|jpe?g|png|mp4|gif)$/i);
});

crawler.on("crawlstart", function() {
    log("crawlstart");
});

crawler.on("fetchcomplete", function(queueItem, responseBuffer) {
    log("fetchcomplete", queueItem.url);
});

crawler.on("fetch404", function(queueItem, response) {
    log("fetch404", queueItem.url, response.statusCode);
});

crawler.on("fetcherror", function(queueItem, response) {
    log("fetcherror", queueItem.url, response.statusCode);
});

crawler.on("complete", function() {
    log("complete");
});

crawler.start();