有没有一种方法可以使用 "ngx_http_access_module"、"ngx_http_limit_req_module" 和 "ngx_http_realip_module"，而不会互相踩到脚趾？

Question

在我们的环境中，我们的流量通过代理到达我们的应用程序，并且该流量由 nginx-ingress-controller 接收和传递。

在这个 nginx-ingress-controller 中，我想做以下 3 件事：

检索“真实”客户端的 IP 地址，以便我们可以在上游应用程序中使用它进行日志记录等。
根据客户端的“真实”IP 地址强制执行速率限制，以确保我们没有坏人试图破坏我们的应用程序
只允许从代理服务器连接到我们的 nginx-ingress-controller

从我所有的实验来看，这似乎是一个非此即彼的场景。 IE。我可以检索客户端的“真实”IP 地址并将其用于 rate-limiting/pass 上游的日志记录，或者我可以使用代理服务器的连接 IP 地址并强制执行我的白名单。

感觉应该可以做到这三个，但我还没有成功。

我们是运行 kubernetes 上的控制器，我正在使用配置映射注入所有相关配置。以下是我要注入的设置：

  'proxy-real-ip-cidr': '173.245.48.0/20,103.21.244.0/22,103.22.200.0/22,103.31.4.0/22,141.101.64.0/18,108.162.192.0/18,190.93.240.0/20,188.114.96.0/20,197.234.240.0/22,198.41.128.0/17,162.158.0.0/15,104.16.0.0/12,172.64.0.0/13,131.0.72.0/22,2400:cb00::/32,2606:4700::/32,2803:f800::/32,2405:b500::/32,2405:8100::/32,2a06:98c0::/29,2c0f:f248::/32'
  'use-forwarded-headers': 'true'
  'forwarded-for-header': 'CF-Connecting-IP'
  'server-tokens': 'false'
  'proxy-body-size': '100M'
  'http-snippet' : |
          limit_req_zone $binary_remote_addr zone=perip:10m rate=20r/s;
  'location-snippet' : |
          limit_req zone=perip burst=40 nodelay;
          limit_req_status 429;
          limit_conn_status 429;
          allow 173.245.48.0/20;
          allow 103.21.244.0/22;
          allow 103.22.200.0/22;
          allow 103.31.4.0/22;
          allow 141.101.64.0/18;
          allow 108.162.192.0/18;
          allow 190.93.240.0/20;
          allow 188.114.96.0/20;
          allow 197.234.240.0/22;
          allow 198.41.128.0/17;
          allow 162.158.0.0/15;
          allow 104.16.0.0/12;
          allow 172.64.0.0/13;
          allow 131.0.72.0/22;
          allow 2400:cb00::/32;
          allow 2606:4700::/32;
          allow 2803:f800::/32;
          allow 2405:b500::/32;
          allow 2405:8100::/32;
          allow 2a06:98c0::/29;
          allow 2c0f:f248::/32;
          deny all;

如果您有任何问题，或者我是否可以更清楚地解释以上内容，请告诉我。非常感谢任何帮助！

编辑：我在 Kubernetes/inress-nginx 上找到了一个功能请求，它处理了我正在寻找的确切机制，但它似乎从未被解决过：https://github.com/kubernetes/ingress-nginx/issues/2257 因此，如果有人知道任何解决方法，将不胜感激。

Answer 1

所以最终，我无法实现我最初 post 中明确规定的目标，但我能够创建一个解决方法。

由于我们的基础设施托管在 GKE 上的 GCP 中，我能够用第 7 层负载均衡器替换我们现有的第 4 层负载均衡器，这使我能够使用 Cloud Armor 策略强制执行 IP 地址白名单，并且将 rate-limiting 保留在 nginx 的“真实”客户端 IP 上。

有没有一种方法可以使用 "ngx_http_access_module"、"ngx_http_limit_req_module" 和 "ngx_http_realip_module"，而不会互相踩到脚趾？

Is there a way to use "ngx_http_access_module", "ngx_http_limit_req_module" and "ngx_http_realip_module", without them stepping on each other's toes?

nginx

kubernetes

nginx-ingress