Nginx：如何基于用户代理限制请求速率

Question

尝试在 nginx 中实现以下行为

使用浏览器时，每个 ip 的默认速率限制为 1r/s。bing 和 google 蜘蛛的速率限制为 10r/s。拒绝不良机器人。

不幸的是，谷歌没有发布 googlebot 的 IP 地址，所以我只能使用 useragent。

到目前为止，这已经很接近了：

http { 
  # Rate limits
  map $http_user_agent $uatype {
    default 'user';
    ~*(google|bing|msnbot) 'okbot';
    ~*(slurp|nastybot) 'badbot';
  }

  limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
  limit_req_zone $binary_remote_addr zone=two:10m rate=10r/s;

  ...

  server {
    ...

    location / {
      if ($uatype == 'badbot) {
        return 403;
      }

      limit_req zone=one burst=5 nodelay;
      if ($uatype != 'user') {
        limit_req zone=two burst=10 nodelay;
      }

      ...
    }

  ...
  }
}

但是 - 'if' 不允许这样做。

$ nginx-t

nginx: [emerg] /etc/nginx/nginx.conf 中不允许使用“limit_req”指令 nginx: 配置文件 /etc/nginx/nginx.conf 测试失败

nginx 论坛上有很多未经测试的建议，大多数甚至没有通过配置测试。

看起来很有前途的一项是Nginx Rate Limiting by Referrer？-- 该版本的缺点是所有配置都会针对每个不同的限制重复（我有很多重写规则）

有人有好东西吗？

Answer 1

不幸的是，您无法以这种方式进行动态化，限制请求模块不支持此功能。

您找到的链接可能是实现此目的的唯一方法。使用include指令来“避免”重复您的配置。

但是，如果第三方爬虫突然冒充goodbot用户代理怎么办？