Amazon web services 当使用多个入口nginx控制器时，入口资源从错误的入口控制器获取地址

我们在AWS（EKS）中有一个Kubernetes集群。在我们的设置中，我们需要有两个入口nginx控制器，以便我们可以实施不同的安全策略。为了实现这一点，我正在发挥杠杆作用

kubernetes.io/ingres.class和-ingres类

根据建议，我从Ingress nginx存储库创建了一个默认的标准Ingress控制器

为了创建第二个入口控制器，我稍微从“mandatory.yaml”定制了入口部署。我基本上添加了标签：

'环境：内部'

到部署定义

我还相应地创建了另一个服务，指定“env:internal”标记，以便将此新服务与我的新入口控制器绑定。请看一下我的yaml定义：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-ingress-controller-internal
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
    env: internal
spec:
  replicas: 1
  selector:
    matchLabels:
      app.kubernetes.io/name: ingress-nginx
      app.kubernetes.io/part-of: ingress-nginx
      env: internal
  template:
    metadata:
      labels:
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/part-of: ingress-nginx
        env: internal
      annotations:
        prometheus.io/port: "10254"
        prometheus.io/scrape: "true"
    spec:
      # wait up to five minutes for the drain of connections
      terminationGracePeriodSeconds: 300
      serviceAccountName: nginx-ingress-serviceaccount
      nodeSelector:
        kubernetes.io/os: linux
      containers:
        - name: nginx-ingress-controller-internal
          image: quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.26.1
          args:
            - /nginx-ingress-controller
            - --configmap=$(POD_NAMESPACE)/nginx-configuration
            - --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services
            - --udp-services-configmap=$(POD_NAMESPACE)/udp-services
            - --publish-service=$(POD_NAMESPACE)/ingress-nginx
            - --annotations-prefix=nginx.ingress.kubernetes.io
            - --ingress-class=nginx-internal
          securityContext:
            allowPrivilegeEscalation: true
            capabilities:
              drop:
                - ALL
              add:
                - NET_BIND_SERVICE
            # www-data -> 33
            runAsUser: 33
          env:
            - name: POD_NAME
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: POD_NAMESPACE
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
          ports:
            - name: http
              containerPort: 80
            - name: https
              containerPort: 443
          livenessProbe:
            failureThreshold: 3
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 10
            successThreshold: 1
            timeoutSeconds: 10
          readinessProbe:
            failureThreshold: 3
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            periodSeconds: 10
            successThreshold: 1
            timeoutSeconds: 10
          lifecycle:
            preStop:
              exec:
                command:
                  - /wait-shutdown

---

kind: Service
apiVersion: v1
metadata:
  name: ingress-nginx-internal
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
    env: internal
spec:
  externalTrafficPolicy: Local
  type: LoadBalancer
  selector:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
    env: internal
  ports:
    - name: http
      port: 80
      targetPort: http
    - name: https
      port: 443
      targetPort: https

应用此定义后，将创建my Ingress Controller以及新的LoadBalancer服务：

$ kubectl get deployments -n ingress-nginx
NAME                                READY   UP-TO-DATE   AVAILABLE   AGE
nginx-ingress-controller            1/1     1            1           10d
nginx-ingress-controller-internal   1/1     1            1           95m

$ kubectl get service -n ingress-nginx
NAME                     TYPE           CLUSTER-IP       EXTERNAL-IP                                          PORT(S)                      AGE
ingress-nginx            LoadBalancer   172.20.6.67      xxxx.elb.amazonaws.com   80:30857/TCP,443:31863/TCP   10d
ingress-nginx-internal   LoadBalancer   172.20.115.244   yyyyy.elb.amazonaws.com   80:30036/TCP,443:30495/TCP   97m

到目前为止一切正常

但是，当我创建两个入口资源时，这些资源中的每一个都绑定到不同的入口控制器（请注意“kubernetes.io/ingres.class:”）：

外部入口资源：

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: accounting-ingress
  annotations:  
    kubernetes.io/ingress.class: nginx
 spec: ...

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: internal-ingress
  annotations:  
    kubernetes.io/ingress.class: nginx-internal    
spec: ...

$ kg ingress
NAME                 HOSTS                  ADDRESS                                                                   PORTS     AGE
external-ingress   bbb.aaaa.com           xxxx.elb.amazonaws.com   80, 443   10d
internal-ingress   ccc.aaaa.com           xxxx.elb.amazonaws.com   80        88m

内部入口资源：

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: accounting-ingress
  annotations:  
    kubernetes.io/ingress.class: nginx
 spec: ...

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: internal-ingress
  annotations:  
    kubernetes.io/ingress.class: nginx-internal    
spec: ...

$ kg ingress
NAME                 HOSTS                  ADDRESS                                                                   PORTS     AGE
external-ingress   bbb.aaaa.com           xxxx.elb.amazonaws.com   80, 443   10d
internal-ingress   ccc.aaaa.com           xxxx.elb.amazonaws.com   80        88m

我发现它们都包含相同的地址，第一个入口控制器的地址：

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: accounting-ingress
  annotations:  
    kubernetes.io/ingress.class: nginx
 spec: ...

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: internal-ingress
  annotations:  
    kubernetes.io/ingress.class: nginx-internal    
spec: ...

$ kg ingress
NAME                 HOSTS                  ADDRESS                                                                   PORTS     AGE
external-ingress   bbb.aaaa.com           xxxx.elb.amazonaws.com   80, 443   10d
internal-ingress   ccc.aaaa.com           xxxx.elb.amazonaws.com   80        88m

我希望绑定到“ingress class=nginx internal”的入口将包含以下地址：“yyyy.elb.amazonaws.com”。虽然一切似乎都很好，但这让我很恼火，我觉得有些地方不对劲

我应该从哪里开始对其进行故障排除，以了解幕后发生的情况

#####——更新--####

除上述内容外，我还在manadatory.yaml中添加了行“”入口控制器负责人nginx internal“”，如下所示。我是根据在mandatory.yaml文件中找到的一条注释来做这件事的：

apiVersion: rbac.authorization.k8s.io/v1beta1
kind: Role
metadata:
  name: nginx-ingress-role
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
rules:
  - apiGroups:
      - ""
    resources:
      - configmaps
      - pods
      - secrets
      - namespaces
    verbs:
      - get
  - apiGroups:
      - ""
    resources:
      - configmaps
    resourceNames:
      # Defaults to "<election-id>-<ingress-class>"
      # Here: "<ingress-controller-leader>-<nginx>"
      # This has to be adapted if you change either parameter
      # when launching the nginx-ingress-controller.
      - "ingress-controller-leader-nginx"
      - "ingress-controller-leader-nginx-internal"

apiVersion:rbac.authorization.k8s.io/v1beta1 种类：角色 元数据： 名称：nginx入口角色 名称空间：ingress nginx 标签： app.kubernetes.io/name:ingress nginx app.kubernetes.io/part-of:ingress nginx 规则： -蜂群： - "" 资源： -配置映射 -豆荚 -秘密 -名称空间 动词： -得到 -蜂群： - "" 资源： -配置映射 资源名称： #默认为“-” #这里：“-” #如果您更改任一参数，则必须对此进行调整 #启动nginx入口控制器时。 -“入口控制器负责人nginx” -“入口控制器负责人nginx内部”

---

不幸的是，nginx文档只提到了用于定义新控制器的“kubernetes.io/ingres.class和-ingres class”。有可能我弄乱了一些小细节。

尝试更改这一行：

- --configmap=$(POD_NAMESPACE)/nginx-configuration

在您的代码中，应该是这样的：

- --configmap=$(POD_NAMESPACE)/internal-nginx-configuration

---

这样，每个nginx控制器的配置都会不同，否则您的配置会相同，这似乎可以正常工作，但在更新时会出现一些错误。。。（已经在那里了……）

其他nginx入口的配置映射是什么？这是一个好问题。我会说他们使用的是同一个，因为我基本上只改变了第二个控制器的部署和服务。但是我在mandatory.yaml中添加了一行。我会用这个更新我的问题。该行已添加到角色>规则>apiGroups>资源名称下。它现在包含两行：

-“入口控制器负责人nginx”-“入口控制器负责人nginx internal”

不确定通过添加入口控制器负责人nginx internal，我是否能够定义另一个配置映射。有些概念对我来说还不太清楚。我看到在mandatory.yaml文件中已经有一个名为“nginx configuration”的configMap。在按照您的建议指定此“内部nginx配置”之前，我是否应该提前创建一个具有此名称的附加configMap？不，它是由容器生成的，如果您更改配置，它应该进行更新我认为我确实需要创建此附加configMap，因为在不创建它的情况下，我在控制器Pod日志中看到以下错误：store.go:635]未找到读取配置configmap:configmaps“内部nginx配置”的意外错误。我是否遗漏了任何内容：）？Haaa是的，很抱歉您应该重命名yaml中应该为空的configmap…嘿，我这么做了，但它仍然选择与第一个控制器相同的地址。我在日志中看到了这一点：

将inno-testing2/internal Ingress status从[]更新为[{xxxxx.elb.amazonaws.com}]

我正在考虑创建一个全新的mandatory.yaml，从而复制所有资源以确保没有共享资源。你认为这是一种过度的杀伤力吗？也许我应该继续只在地图上挖东西？