我的 nginx 后端服务器应该只接受来自我的前端 1.2.3.4 的请求。但是，我也希望 nginx 记录正确的 IP 地址，所以我使用set_real_ip_from. 但是这样做，allow配置中的规则不匹配，nginx 将始终返回 403。这是相关的配置：
allow 1.2.3.4;
deny all;
set_real_ip_from 1.2.3.4;
real_ip_heaader X-Real-IP;
我怎样才能克服这个问题？