K8S笔记04 -- 使用Ingress统一访问入口

文章目录服务内部访问方式 ClusterIP服务外部访问方式NodePortLoadBalancerIngress使用Ingress部署Tomcat服务内部访问方式 ClusterIPClusterIP 服务是 Kubernetes 的默认服务。它给你一个集群内的服务，集群内的其它应用都可以访问该服务。集群外部无法访问它。在某些场景下我们可以使用 Kubernetes 的 Proxy 模式来访问服

catch that elf

2891人浏览 · 2021-08-20 00:15:44

catch that elf · 2021-08-20 00:15:44 发布

服务内部访问方式 ClusterIP

ClusterIP 服务是 Kubernetes 的默认服务。它给你一个集群内的服务，集群内的其它应用都可以访问该服务。集群外部无法访问它。在某些场景下我们可以使用 Kubernetes 的 Proxy 模式来访问服务，比如调试服务时
在这里插入图片描述
这种情况下不对外暴露端口，服务只能在内部访问，但是可以借助 Kubernetes 的 Proxy 模式来访问服务，proxy 模式类似于防火墙的nat(个人理解)通过 iptables 或 ipvs 来实现。

服务外部访问方式

hostNetwork

这种方式可以让服务使用部署节点的ip和端口进行暴露，当deployment 设置hostNetwork: true时候，Pod中的所有容器就直接暴露在宿主机的网络环境中，这时候，Pod的PodIP就是其所在Node的IP）
比如，nginx服务被部署在了 slave节点 server6上，那么可以通过 server6的ip和端口来访问。这种情况仅部署deployment即可不用部署service.
配置文件：

# API 版本号
apiVersion: extensions/v1beta1
# 类型，如：Pod/ReplicationController/Deployment/Service/Ingress
kind: Deployment
# 元数据
metadata:
  # Kind 的名称
  name: nginx-app
spec:
  # 部署的实例数量
  replicas: 2
  template:
    metadata:
      labels:
        # 容器标签的名字，发布 Service 时，selector 需要和这里对应
        name: nginx
    spec:
      # 配置容器，数组类型，说明可以配置多个容器
      hostNetwork: true  # 这里配置 为true
      containers:
      # 容器名称
      - name: nginx
        # 容器镜像
        image: nginx
        # 暴露端口
        ports:
        # Pod 端口
        - containerPort: 80

通过 kubectl get pod 和kubectl describe pod 命令可以看到两个pod 分别部署在了 server4 和server6节点上，

eric@server1:/usr/local/kubernetes/cluster$ kubectl get pod
NAME                        READY   STATUS    RESTARTS   AGE
nginx-app-7c8446b84-gd5qp   1/1     Running   0          2m43s
nginx-app-7c8446b84-t77hb   1/1     Running   0          2m43s

ric@server1:/usr/local/kubernetes/cluster$ kubectl describe pod nginx-app-7c8446b84-gd5qp
Name:               nginx-app-7c8446b84-gd5qp
Namespace:          default
Priority:           0
PriorityClassName:  <none>
Node:               server4/192.168.90.34
Start Time:         Sun, 22 Aug 2021 17:10:54 +0800
Labels:             name=nginx
                    pod-template-hash=7c8446b84
Annotations:        <none>
Status:             Running
IP:                 192.168.90.34
Controlled By:      ReplicaSet/nginx-app-7c8446b84

通过192.168.90.34/6:80 即可访问到服务,如下：在这里插入图片描述

hostPort

和hostNetwork 类似只不多可以指定端口，然后通过访问宿主机IP和指定8081端口访问，但是每台只能起一个pod，不然端口会发生冲突，也没有service进行负载均衡。也是只需要部署deployment即可不用部署 service。配置文件如下：

# API 版本号
apiVersion: extensions/v1beta1
# 类型，如：Pod/ReplicationController/Deployment/Service/Ingress
kind: Deployment
# 元数据
metadata:
  # Kind 的名称
  name: nginx-app
spec:
  # 部署的实例数量
  replicas: 2
  template:
    metadata:
      labels:
        # 容器标签的名字，发布 Service 时，selector 需要和这里对应
        name: nginx
    spec:
      # 配置容器，数组类型，说明可以配置多个容器
      #hostNetwork: true
      containers:
      # 容器名称
      - name: nginx
        # 容器镜像
        image: nginx
        # 暴露端口
        ports:
        # Pod 端口
        - containerPort: 80
          hostPort: 801

查看宿主机

eric@server1:/usr/local/kubernetes/cluster$ kubectl get pod
NAME                       READY   STATUS              RESTARTS   AGE
nginx-app-6b5d7df6-f29wz   0/1     ContainerCreating   0          6s
nginx-app-6b5d7df6-vrzkp   0/1     ContainerCreating   0          6s
eric@server1:/usr/local/kubernetes/cluster$ kubectl describe  pod  nginx-app-6b5d7df6-f29wz
Name:               nginx-app-6b5d7df6-f29wz
Namespace:          default
Priority:           0
PriorityClassName:  <none>
Node:               server6/![请添加图片描述](https://img-blog.csdnimg.cn/edd712a89f59429b98354ccf1ae4222b.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5neG1fcXo=,size_16,color_FFFFFF,t_70)

Start Time:         Sun, 22 Aug 2021 17:43:40 +0800
Labels:             name=nginx
                    pod-template-hash=6b5d7df6

访问服务：
在这里插入图片描述

NodePort

NodePort 服务是引导外部流量到服务的最原始方式。正如这个名字所示，在所有节点（maste和slave虚拟机）上开放一个特定端口，任何发送到该端口的流量都被转发到对应服务。
NodePort 服务特征如下：

每个端口只能是一种服务
端口范围只能是 30000-32767（可调）
不在 YAML 配置文件中指定则会分配一个默认端口
建议：不要在生产环境中使用这种方式暴露服务，大多数时候我们应该让 Kubernetes 来选择端口

在这里插入图片描述
部署测试：
部署nginx配置文件如下：

# API 版本号
apiVersion: extensions/v1beta1
# 类型，如：Pod/ReplicationController/Deployment/Service/Ingress
kind: Deployment
# 元数据
metadata:
  # Kind 的名称
  name: nginx-app
spec:
  # 部署的实例数量
  replicas: 2
  template:
    metadata:
      labels:
        # 容器标签的名字，发布 Service 时，selector 需要和这里对应
        name: nginx
    spec:
      # 配置容器，数组类型，说明可以配置多个容器
      containers:
      # 容器名称
      - name: nginx
        # 容器镜像
        image: nginx
        # 暴露端口
        ports:
        # Pod 端口
        - containerPort: 80
---
# API 版本号
apiVersion: v1
# 类型，如：Pod/ReplicationController/Deployment/Service/Ingress
kind: Service
# 元数据
metadata:
  # Kind 的名称
  name: nginx-http
spec:
  # 暴露端口
  ports:
    ## Service 暴露的端口
    - port: 80
      ## Pod 上的端口，这里是将 Service 暴露的端口转发到 Pod 端口上
      targetPort: 80
  # 类型
  type: NodePort
  # 标签选择器
  selector:
    # 需要和上面部署的 Deployment 标签名对应
    name: nginx

结果：k8s为该服务提供一个 30000+的端口，通过master点或slave节点的ip+端口都可以访问到 nginx首页

LoadBalancer

LoadBalancer 服务是暴露服务到 Internet 的标准方式。所有通往你指定的端口的流量都会被转发到对应的服务。它没有过滤条件，没有路由等。可以发送任何种类的流量到该服务，像比如：HTTP，TCP，UDP，WebSocket，gRPC 或其它任意种类
在这里插入图片描述
测试效果同NodePort.

Ingress

Ingress 事实上不是一种服务类型。相反，它处于多个服务的前端，扮演着 “智能路由” 或者集群入口的角色。可以用 Ingress 来做许多不同的事情，各种不同类型的 Ingress 控制器也有不同的能力。它可以实现基于路径或者子域名来路由流量到后端服务。

Ingress 可能是暴露服务的最强大方式，但同时也是最复杂的。Ingress 控制器有各种类型，包括 Google Cloud Load Balancer， Nginx，Contour，Istio，等等。它还有各种插件，比如 cert-manager (可以为你的服务自动提供 SSL 证书)

在这里插入图片描述
通常情况下，Service 和 Pod 的 IP 仅可在集群内部访问。集群外部的请求需要通过负载均衡转发到 Service 在 Node 上暴露的 NodePort 上，然后再由 kube-proxy 通过边缘路由器 (edge router) 将其转发给相关的 Pod 或者丢弃。而 Ingress 就是为进入集群的请求提供路由规则的集合
Ingress 可以给 Service 提供集群外部访问的 URL、负载均衡、SSL 、HTTP 路由等功能。为了配置这些 Ingress 规则，集群管理员需要部署一个 Ingress Controller，它监听 Ingress 和 Service 的变化，并根据规则配置负载均衡并提供访问入口

使用Ingress

开始前先删除之前部署的nginx容器和服务

部署Tomcat

部署 Tomcat 但仅允许在内网访问，我们通过 Ingress 提供的反向代理功能路由到 Tomcat 之上
配置文件 tomcat.yml 内容如下

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: tomcat-app
spec:
  replicas: 2
  template:
    metadata:
      labels:
        name: tomcat
    spec:
      containers:
      - name: tomcat
        image: tomcat
        ports:
        - containerPort: 8080
---
apiVersion: v1
kind: Service
metadata:
  name: tomcat-http
spec:
  ports:
    - port: 8080
      targetPort: 8080
  # ClusterIP, NodePort, LoadBalancer
  type: LoadBalancer
  selector:
    name: tomcat

部署tomcat

eric@server3:/usr/local/kubernetes/cluster$ kubectl create -f tomcat.yml

安装 Nginx Ingress Controller

Ingress Controller 有许多种，这里选择最熟悉的 Nginx 来处理请求.参考文档
下载配置文件链接如下

https://github.com/kubernetes/ingress-nginx/blob/nginx-0.24.1/deploy/mandatory.yaml

修改配置文件内容，找到配置如下位置 (搜索 serviceAccountName) 在下面增加一句 hostNetwork: true

.....
spec:
  replicas: 1
  selector:
    matchLabels:
      app.kubernetes.io/name: ingress-nginx
      app.kubernetes.io/part-of: ingress-nginx
  template:
    metadata:
      labels:
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/part-of: ingress-nginx
      annotations:
        prometheus.io/port: "10254"
        prometheus.io/scrape: "true"
    spec:
      serviceAccountName: nginx-ingress-serviceaccount
      hostNetwork: true
      containers:
        - name: nginx-ingress-controller
          image: quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.24.1
          args:
    ......

eric@server1:/usr/local/kubernetes/cluster$ sudo kubectl create -f        mandatory.yaml

部署Ingress
配置文件ingress.yaml内容如下

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: nginx-web
  annotations:
    # 指定 Ingress Controller 的类型
    kubernetes.io/ingress.class: "nginx"
    # 指定我们的 rules 的 path 可以使用正则表达式
    nginx.ingress.kubernetes.io/use-regex: "true"
    # 连接超时时间，默认为 5s
    nginx.ingress.kubernetes.io/proxy-connect-timeout: "600"
    # 后端服务器回转数据超时时间，默认为 60s
    nginx.ingress.kubernetes.io/proxy-send-timeout: "600"
    # 后端服务器响应超时时间，默认为 60s
    nginx.ingress.kubernetes.io/proxy-read-timeout: "600"
    # 客户端上传文件，最大大小，默认为 20m
    nginx.ingress.kubernetes.io/proxy-body-size: "10m"
    # URL 重写
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  # 路由规则
  rules:
  # 主机名，只能是域名，
  - host: k8s.test.com
    http:
      paths:
      - path:
        backend:# 这里配置默认路径 到后台的 tomcat-http服务
          # 后台部署的 Service Name，与上面部署的 Tomcat 对应
          serviceName: tomcat-http
          # 后台部署的 Service Port，与上面部署的 Tomcat 对应
          servicePort: 8080

通过配置文件可以看到 Ingress 仅仅部署了路由规则，将 k8s.test.com 域名转发到 tomcat-http 服务。 ingress 和 Nginx Ingress Controller 关联的配置仅看到 kubernetes.io/ingress.class: “nginx” 这一项。

eric@server1:/usr/local/kubernetes/cluster$ kubectl create -f ingress.yaml
ingress.networking.k8s.io/nginx-web created

验证Ingress

eric@server1:/usr/local/kubernetes/cluster$ kubectl   get  ingress
NAME        HOSTS          ADDRESS   PORTS   AGE
nginx-web   k8s.test.com             80      38s
eric@server1:/usr/local/kubernetes/cluster$ kubectl get service
NAME          TYPE           CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE
kubernetes    ClusterIP      10.96.0.1      <none>        443/TCP          4d23h
tomcat-http   LoadBalancer   10.98.183.59   <pending>     8080:32168/TCP   4d11h
eric@server1:/usr/local/kubernetes/cluster$ kubectl get pods -n ingress-nginx -o wide
NAME                                       READY   STATUS    RESTARTS   AGE     IP              NODE      NOMINATED NODE   READINESS GATES
nginx-ingress-controller-5f8d7d9dd-skvch   1/1     Running   0          8m40s   192.168.90.34   server4   <none>         --ingress 部署在 34 节点上   <none>
eric@server1:/usr/local/kubernetes/cluster$ kubectl get ingress
NAME        HOSTS          ADDRESS   PORTS   AGE
nginx-web   k8s.test.com             80      3m18s

修改hosts 增加配置 192.168.90.34

eric@zhangxiindemini ~ % cat /etc/hosts
##
# Host Database
#
# localhost is used to configure the loopback interface
# when the system is booting.  Do not change this entry.
##
127.0.0.1	localhost
255.255.255.255	broadcasthost
::1             localhost
#151.101.0.133 raw.githubusercontent.com
192.168.90.34 k8s.test.com

访问k8s.test.com 正常可以看到后台的tomcat 页面。我这里提示了404 ，界面显示访问到了tomcat 版本是9.0.52
访问 tomcat 服务也是404
http://192.168.90.33:32168/

在这里插入图片描述
总之就是k8s 支持通过Ingress 来统一对外开放服务（同nginx），ingress就是一个路由网关，可以根据路径指向到后台不同的服务（和 nginx反向代理类似）尤其使用nginx-controller 实现。

Cloudpods

开源、云原生的融合云平台

更多推荐

面向未来的 IT 基础设施管理架构——融合云（Unified IaaS）

随着数字化时代的到来，IT系统已成为人类社会正常运转不可或缺的组成部分。不远的未来，智能制造，5G和人工智能等技术将成为推动生产力发展的重要引擎，人类社会将面临前所未有的全面彻底的数字化浪潮。IT基础设施作为IT系统运行的平台和载体，是实现数字化的基石。在这场数字化浪潮中，企业必须积极拥抱云计算技术，采用符合技术发展趋势、面向未来的IT基础构架，才能在未来的竞争中赢得先机。一、云计算历经十余年

Cloudpods

Cloudpods负载均衡的功能介绍

作者:周有松今天的内容会从以下几个方面展开：负载均衡产品简介。主要介绍负载均衡作为一个云上产品，它的功能模型是怎样的，日常使用中会遇到的业务词汇负载均衡的功能与典型应用场景。这部分主要结合业务词汇，对负载均衡服务中常见的一些功能选项进行介绍，并举例介绍一些典型的应用场景最后，我们做一下总结，讨论一下负载均衡产品相比传统方式的优点一、产品简介 1. 以NGINX为例提到负载均衡，我们以

Cloudpods

使用Linux vfio将Nvidia GPU透传给QEMU虚拟机

Linux 上虚拟机 GPU 透传需要使用 vfio 的方式。主要是因为在 vfio 方式下对虚拟设备的权限和 DMA 隔离上做的更好。但是这么做也有个缺点，这个物理设备在主机和其他虚拟机都不能使用了。 qemu 直接使用物理设备本身命令行是很简单的，关键在于事先在主机上对系统、内核和物理设备的一些配置。单纯从 qemu 的命令行来看，其实和普通虚拟机启动就差了最后那个-device的选项。这