回答问题

我有一个 Kubernetes 集群,其中包含一个主节点和两个其他节点:

sudo kubectl get nodes
NAME                STATUS    ROLES     AGE       VERSION
kubernetes-master   Ready     master    4h        v1.10.2
kubernetes-node1    Ready     <none>    4h        v1.10.2
kubernetes-node2    Ready     <none>    34m       v1.10.2

它们每个都在 VirtualBox Ubuntu VM 上运行,可从来宾计算机访问:

kubernetes-master (192.168.56.3)
kubernetes-node1  (192.168.56.4)
kubernetes-node2 (192.168.56.6)

我部署了一个有两个副本的 nginx 服务器,每个 kubernetes-node-x 有一个 pod:

sudo kubectl get pods -o wide
NAME                                READY     STATUS    RESTARTS   AGE       IP               NODE
nginx-deployment-64ff85b579-5k5zh   1/1       Running   0          8s        192.168.129.71   kubernetes-node1
nginx-deployment-64ff85b579-b9zcz   1/1       Running   0          8s        192.168.22.66    kubernetes-node2

接下来,我将 nginx-deployment 的服务公开为 NodePort,以便从集群外部访问它:

sudo kubectl expose deployment/nginx-deployment --type=NodePort

sudo kubectl get services 
NAME               TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
kubernetes         ClusterIP   10.96.0.1      <none>        443/TCP        4h
nginx-deployment   NodePort    10.96.194.15   <none>        80:32446/TCP   2m

sudo kubectl describe service nginx-deployment
Name:                     nginx-deployment
Namespace:                default
Labels:                   app=nginx
Annotations:              <none>
Selector:                 app=nginx
Type:                     NodePort
IP:                       10.96.194.15
Port:                     <unset>  80/TCP
TargetPort:               80/TCP
NodePort:                 <unset>  32446/TCP
Endpoints:                192.168.129.72:80,192.168.22.67:80
Session Affinity:         None
External Traffic Policy:  Cluster
Events:                   <none>

我可以使用节点 IP 直接访问节点中的每个 pod

kubernetes-node1 http://192.168.56.4:32446/
kubernetes-node2 http://192.168.56.6:32446/

但是,我认为 K8s 提供了某种外部集群 ip 来平衡从外部对节点的请求。那个IP是什么??

Answers

但是,我认为 K8s 提供了某种外部集群 ip 来平衡从外部对节点的请求。那个IP是什么??

• 集群 IP 在集群内部。不对外暴露,用于跨集群互通。

• 确实,您拥有 LoadBanacer 类型的服务,可以完成您需要的这种技巧,只是它依赖于云提供商或 minikube/docker edge 才能正常工作。

我可以使用节点 IP 直接访问节点中的每个 pod

• 实际上,您不会以这种方式单独访问它们。 NodePort 做了一些不同的技巧,因为它本质上是在任何公开的节点 IP 上对来自外部的请求进行负载平衡。简而言之,如果您使用暴露的 NodePort 访问任何节点的 IP,kube-proxy 将确保所需的服务获取它,然后服务通过活动 pod 进行循环,因此尽管您访问了特定的节点 IP,但您不会必须让 pod 在该特定节点上运行。您可以在此处找到更多详细信息:https://medium.com/google-cloud/kubernetes-nodeport-vs-loadbalancer-vs-ingress-when-should-i-use-what-922f010849e0,作者那里说,在技术上不是最准确的表示,而是试图在逻辑层面上显示 NodePort 暴露发生了什么:

• 作为旁注,为了在裸机上执行此操作并执行 ssl 等,您需要提供自己的入口。比如说,将一个 nginx 放在特定节点上,然后将所有您想要公开的适当服务(请注意 fqdn 服务)作为上游引用,这些服务可以在多个节点上运行,并且可以根据需要使用尽可能多的 nginx - 您不需要处理这方面的确切细节,因为 k8s 运行这个节目。这样一来,您就拥有一个具有已知 IP 地址的节点点(入口 nginx),该地址正在处理传入流量并将其重定向到 k8s 内可以跨任何节点运行的服务。我很喜欢 ascii 艺术,但会试一试:

zoz100027`

(外部)-> 入口(nginx)+--> my-service FQDN(跨节点运行):

[节点-0] | [node-1]: my-service-pod-01 和 nginx-01

| [节点 2]:my-service-pod-02 和 nginx-02

| ...

+--> my-second-service FQDN

| [node-1]: my-second-service-pod 和 apache?

...

在上面的草图中,您在 node-0(已知 IP)上有 nginx 入口,它接收外部流量,然后处理 my-service(在两个节点上的两个 pod 上运行)和 my-second-service(单个 pod)作为上游。您只需在服务上公开 FQDN 即可使其正常工作,而无需担心特定节点 IP 的详细信息。您可以在文档中找到更多信息:[https://kubernetes.io/docs/tutorials/kubernetes-basics/expose/expose-intro/](https://kubernetes.io/docs/tutorials/kubernetes-basics/expose/expose-intro/)

也比我的 ansi-art 更好的是这种表示来自与前一点相同的链接,它说明了入口背后的想法:![入口插图](https://devpress-image.s3.cn-north-1.jdcloud-oss.com/a/f9beb517df_Wh21i.jpg)


#### 更新评论

> 为什么服务没有对服务中使用的 pod 进行负载均衡?

* 这可能有几个原因。根据您的 Liveness 和 Readiness Probes 的配置方式,服务可能仍然没有将 pod 视为停止服务。由于分布式系统(如 k8s)中的这种异步特性,当 pod 被移除时,我们会遇到请求暂时丢失,例如滚动更新等。其次,根据你的 kube-proxy 的配置方式,有一些选项可以限制它。通过使用`--nodeport-addresses`的官方文档([https://kubernetes.io/docs/concepts/services-networking/service/#type-nodeport](https://kubernetes.io/docs/concepts/services-networking/service/#type-nodeport)),您可以更改节点代理行为。原来循环是旧的 kube-proxy 行为,显然新的应该是随机的。最后,为了排除浏览器的连接和会话问题,您是否也从匿名会话中尝试过这个?您是否在本地缓存了 dns?

> 别的,我杀死了 node1 的 pod,当调用 node1 时它没有使用 node 2 的 pod。

* 这个有点奇怪。可能与上述探针有关。根据官方文件,情况不应该如此。我们让 NodePort 的行为符合上面提到的官方文档:`and each Node will proxy that port (the same port number on every Node) into your Service`。但是,如果这是您的情况,那么可能是 LB 或 Ingress,甚至是具有外部地址的 ClusterIP(见下文)也可以为您解决问题。

> 如果服务是内部的 (ClusterIP) ... 是否对节点中的任何 pod 进行负载平衡

* 绝对是的。还有一件事,您可以使用此行为来公开“标准”端口范围中的“负载平衡”行为,而不是来自 NodePort 的 30k+。这是我们用于入口控制器的服务清单的摘录。

api版本:v1

种类:服务

元数据:

命名空间:ns-my-namespace

名称:svc-nginx-ingress-example

标签:

名称:nginx-ingress-example

角色:前端示例

应用程序:nginx-example

规格:

选择器:

名称:nginx-ingress-example

角色:前端示例

应用程序:nginx-example

端口:

• 协议:TCP

名称:http端口

端口:80

目标端口:80

• 协议:TCP

名称:ssl 端口

端口:443

目标端口:443

外部IP:

• 123.123.123.123

请注意,在上面的示例中,使用`externalIPs`公开的虚构 123.123.123.123 表示我们的工作节点之一的 IP 地址。在`svc-nginx-ingress-example`服务中运行的 Pod 根本不需要在此节点上,但当该 ip 在指定端口上被命中时,它们仍会将流量路由到它们(并在 Pod 之间进行负载均衡)。