# 22、K8S调度下的ingress-controller集群的实现以及nginx配置

目标：　1. 实现ingress-controller的集群部署

实现方法： 1.  为ingress-controller 规划两个节点

2.将这两个节点 打上自定义的 label

3.修改yaml文件，并重新创建 ingress-control

   1.     进入k8s主节点ingress yaml文件目录

    Cd /data/developercenter_kubernetes/ingress

     查看节点的label

    kubectl get nodes --show-labels

  2.为规划的ingress-controller节点打上标签

    语法格式： kubectl label nodes <node-name> <label-key>=<label-value>

    示例：

    kubectl label nodes k8s-master beta.kubernetes.node=ingress.control

    kubectl label nodes ip beta.kubernetes.node=ingress.control

    3.删除ingress-controller

             kubectl  delete -f with-rbac.yaml

    4.修改配置文件 编辑 /data/developercenter_kubernetes/ingress/with-rbac.yaml 文件（修改前先备份该文件）

          本文件共修改两处：

           第一处：　　修改pod数量为2

             将 replicas: 1   修改成   replicas: 2

第二处： 将ingress-controller  部署到规划中的节点（即刚才打标签的节点）

           nodeSelector:

           　beta.kubernetes.node: ingress.control

 4.创建 ingress-controller

     kubectl  create  -f with-rbac.yaml

 5.基础镜像拷贝的ingress-controller规划节点（k8s服务相关基础镜像均没有上传到docker仓库，因此需要手工拷贝并导入到ingress规划节点）

  k8s 主节点执行：

  docker save -o nginx-ingress-controller.tar cloud-kubernetes/nginx-ingress-controller:0.11.0

   ingress 规划节点执行：

  docker load -i nginx-ingress-controller.tar

 

6.验证

        命令：  kubectl  get pod -n ingress-nginx

      如图即为成功，可以看到ingress-controller分步在两个节点上：

    kubectl  get pod -n ingress-nginx

    kubectl  describe pod nginx-ingress-controller-6ffb549676-qtct2  -n ingress-nginx |grep IP

7.查看k8s中应用的域名

方法一：select app_id,app_name from yonyou_cloud.app_manage;（直接从数据库中查询部署的应用对应生成的ID）

方法二：

  l        查看ingress-controller的pod名

       kubectl  get pod -n ingress-nginx

 

  l        查看ingress-controller中的nginx配置，确认应用名格式（k8s为应用生成的域名固定格式为：应用ID + 固定后缀）

       kubectl  exec -it nginx-ingress-controller-6ffb549676-5pq4m -n ingress-nginx  grep server_name  /etc/nginx/nginx.conf

   l        确认应用的真实域名  

   353版本

                     进入开发者中心（http://主节点ip:80），查看应用生成的真实域名,

                     如下图中可以看到，域名为 bxgd7iw7.c87e2267-1001-4c70-bb2a-ab41f3b81aa3.app.uap.com

                            对比上一条命令，可以知道  mmm 应用，对应在k8s中的域名为   bxgd7iw7.prod1.cloud-k8s.com

                            此域名也即为在nginx中使用的域名

8.nginx的配置

  配置文件，请参考附件22、K8S调度下的ingress-controller集群的实现以及nginx配置

 

-------------------------------------------------------------      

[root@dc-yunwei-ansible conf.d]# cat aa.conf

upstream aa.pool {

                 ip_hash;

                 server ip1;          # 这里写两台ingress-controller节点的ip地址

                 server ip2;

             }

server

     {

            listen                  80;

            server_name    aa.k8.com;    #这里下客户自定义的域名，

            access_log    /usr/local/nginx/logs/aa.com_access.log;

 

   location / {

//             root                   /;

             proxy_redirect                     off ;

             proxy_set_header X-Forwarded-Host $http_host;

             proxy_set_header X-Forwarded-For $remote_addr;

             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

             proxy_connect_timeout 300;

//             proxy_headers_hash_max_size 512;

             proxy_send_timeout 300;

             proxy_read_timeout 600;

//             proxy_buffer_size 64k;

             proxy_buffers 4 64k;

             proxy_busy_buffers_size 64k;

             proxy_temp_file_write_size 64k;

             proxy_next_upstream error timeout invalid_header http_500 http_503 http_404;

             proxy_max_temp_file_size 128m;

             proxy_set_header Host "jquukbal.prod1.cloud-k8s.com";                #这里写k8s为应用生成的域名  

             set $proxy_upstream_name "jquukbal.prod1.cloud-k8s.com";          #这里写k8s为应用生成的域名  

             proxy_pass    http://aa.pool/;                 #这里写上面配置的upstream

             proxy_ignore_client_abort on;

             proxy_headers_hash_max_size 51200;

             proxy_headers_hash_bucket_size 6400;

          }

}

----------------------------------------------------------------