Kubernetes nginx ingress和#x2B；oauth2外部身份验证超时

我正在尝试使用oauth2_代理保护服务的状态页，使用Azure AD作为外部身份验证提供程序。目前，如果我浏览到应用程序（）的公共url，我会得到一个504网关超时，它应该会指示我进行身份验证

我主要是按照这本指南来参考：

如果我禁用了指导身份验证的注释，我可以毫无问题地进入公共状态页面。如果我浏览到，我会得到一个提示，要求我的提供者进行身份验证，这是我所期望的。我不确定问题出在入口配置中的什么地方，但我无法在网上找到与此类似的案例，如stackoverflow或其他

在本例中，所有内容（oauth部署、服务和入口规则）都位于“dev”命名空间中，但实际入口部署除外，后者位于自己的命名空间中。我不怀疑这有什么区别，但是SSL终止是由集群外的网关处理的

oauth2部署：

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: oauth2-proxy
spec:
  replicas: 1
  selector:
    matchLabels:
      app: oauth2-proxy
  template:
    metadata:
      labels:
        app: oauth2-proxy
    spec:
      containers:
      - name: oauth2-proxy
        image: quay.io/pusher/oauth2_proxy:v3.2.0
        imagePullPolicy: IfNotPresent
        args:
        - --provider=azure
        - --email-domain=domain.com
        - --upstream=http://servicename
        - --http-address=0.0.0.0:4180
        - --azure-tenant=id
        - --client-id=id
        - --client-secret=number
        env:
         - name: OAUTH2_PROXY_COOKIE_SECRET
           value: secret
        ports:
         - containerPort: 4180
           protocol : TCP
---
apiVersion: v1
kind: Service
metadata:
  labels:
    app: oauth2-proxy
  name: oauth2-proxy
spec:
  ports:
  - name: http
    port: 4180
    protocol: TCP
    targetPort: 4180
  selector:
    app: oauth2-proxy 

入口规则：

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: service-ingress1
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/auth-url: https://sub.domain.com/oauth2/auth"
    nginx.ingress.kubernetes.io/auth-signin: https://sub.domain.com/oauth2/start?rd=$https://sub.domain.com/service/hangfire"
spec:
  rules:
  - host: sub.domain.com       
    http:
      paths:
      - path: /service/hangfire
        backend:
          serviceName: service
          servicePort: 80                    
---
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: service-oauth2-proxy
  annotations:
    kubernetes.io/ingress.class: nginx
spec:
  rules:
  - host: sub.domain.com      
    http:
      paths:
      - path: /oauth2
        backend:
          serviceName: oauth2-proxy
          servicePort: 4180           

---

当我浏览到url时，我收到了504个错误，但我在ingress pod中没有看到任何错误。

这就是我对Azure AD的oAuth代理所做的：

  annotations:
    kubernetes.io/ingress.class: "nginx"
    ingress.kubernetes.io/ssl-redirect: "true"
    nginx.ingress.kubernetes.io/auth-url: "https://$host/oauth2/auth"
    nginx.ingress.kubernetes.io/auth-signin: "https://$host/oauth2/start?rd=$escaped_request_uri"

我一直在使用这个oAuth代理：

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: oauth2-proxy
  namespace: kube-system
spec:
  replicas: 1
  selector:
    matchLabels:
      app: oauth2-proxy
  template:
    metadata:
      labels:
        app: oauth2-proxy
    spec:
      containers:
      - env:
          - name: OAUTH2_PROXY_PROVIDER
            value: azure
          - name: OAUTH2_PROXY_AZURE_TENANT
            value: xxx
          - name: OAUTH2_PROXY_CLIENT_ID
            value: yyy
          - name: OAUTH2_PROXY_CLIENT_SECRET
            value: zzz
          - name: OAUTH2_PROXY_COOKIE_SECRET
            value: anyrandomstring
          - name: OAUTH2_PROXY_HTTP_ADDRESS
            value: "0.0.0.0:4180"
          - name: OAUTH2_PROXY_UPSTREAM
            value: "http://where_to_redirect_to:443"
        image: machinedata/oauth2_proxy:latest
        imagePullPolicy: IfNotPresent
        name: oauth2-proxy
        ports:
        - containerPort: 4180
          protocol: TCP

---

我的设置与4c74356b41类似

oauth2代理部署

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    app: oauth2-proxy
  name: oauth2-proxy
  namespace: monitoring
spec:
  replicas: 1
  selector:
    matchLabels:
      app: oauth2-proxy
  template:
    metadata:
      labels:
        app: oauth2-proxy
    spec:
      containers:
      - args:
        - --azure-tenant=TENANT-GUID
        - --email-domain=company.com
        - --http-address=0.0.0.0:4180
        - --provider=azure
        - --upstream=file:///dev/null
        env:
        - name: OAUTH2_PROXY_CLIENT_ID
          valueFrom:
            secretKeyRef:
              key: client-id
              name: oauth2-proxy
        - name: OAUTH2_PROXY_CLIENT_SECRET
          valueFrom:
            secretKeyRef:
              key: client-secret
              name: oauth2-proxy
        - name: OAUTH2_PROXY_COOKIE_SECRET
          valueFrom:
            secretKeyRef:
              key: cookie-secret
              name: oauth2-proxy
        image: quay.io/pusher/oauth2_proxy:v3.1.0
        name: oauth2-proxy

oauth2代理服务

apiVersion: v1
kind: Service
metadata:
  labels:
    app: oauth2-proxy
  name: oauth2-proxy
  namespace: monitoring
spec:
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: http
  selector:
    app: oauth2-proxy
  type: ClusterIP

oauth2代理入口

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
  labels:
    app: oauth2-proxy
  name: oauth2-proxy
  namespace: monitoring
spec:
  rules:
  - host: myapp.hostname.net
    http:
      paths:
      - backend:
          serviceName: oauth2-proxy
          servicePort: 80
        path: /oauth2

oauth2代理配置

apiVersion: v1
kind: Secret
metadata:
  labels:
    app: oauth2-proxy
  name: oauth2-proxy
  namespace: monitoring
data:
# Values below are fake
  client-id: AAD_CLIENT_ID
  client-secret: AAD_CLIENT_SECRET
  cookie-secret: COOKIE_SECRET

使用AAD入口的应用程序

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/auth-signin: https://$host/oauth2/start?rd=$request_uri
    nginx.ingress.kubernetes.io/auth-url: https://$host/oauth2/auth
  labels:
    app: myapp
  name: myapp
  namespace: monitoring
spec:
  rules:
  - host: myapp.hostname.net
    http:
      paths:
      - backend:
          serviceName: myapp
          servicePort: 80
        path: /
  tls:
  - hosts:
    - myapp.hostname.net

---

需要完成的另一个步骤是将重定向URI添加到AAD应用程序注册中。在Azure门户>身份验证>添加

https://myapp.hostname.net/oauth2/callback

要重定向URI>Save

我在这里找到了解决方案：

我必须使用auth url的内部服务地址，这是我在其他地方没有提到的

nginx.ingress.kubernetes.io/auth-url: http://oauth2-proxy.development.svc.cluster.local:4180/oauth2/auth

---

这看起来和我的差不多。你介意多发布一些服务入口吗？不幸的是，我只是在入口得到了504个错误，没有真正的错误继续下去。我唯一不确定的是“OAUTH2_PROXY_UPSTREAM”，这应该是一个内部服务端点还是外部url？它应该在auth后重定向的任何地方（对我来说是它的内部服务），当然它看起来很相似，但不一样，所以你最好试试这个，因为它对我很有效，没问题。你可以扩展一下

http://where_to_redirect_to:443

应该是准确的吗？我在这方面遇到了麻烦。“服务入口1”的IP地址（由相关OP定义）？入口背后的服务集群？提出一个新问题，而不是在评论中提问Supstream可以是kubernetes服务端点感谢您的发布，您的配置看起来也非常类似于我的配置。奇怪的是，我得到504次超时，nginx日志中没有显示任何内容，就好像auth注释正在为我破坏入口配置。您是否有其他nginx配置更改？好吧，我正在运行一个股票配置，但我还没有看到在实现这个配置时提到的任何特殊配置更改。您在这里有什么

-上游=http://servicename

准确地说？我无法确定此处需要什么。我有入口主机的fqdn。所以如果我为google.com做这个入口，我会把它放在上游。谢谢。这是我想的，但我无法让它工作。最后，对我来说，问题在于Azure AD传递的cookie太大，Nginx无法处理，导致重定向失败。唯一真正的解决方案是运行redis服务器来管理cookies。调试此问题相当困难，因此如果其他人遇到此问题，请查看：