背景

我司使用的是混合云，云上环境k8s中处理数据的pod不能正常解析公司内部存储的dns域名，从而导致数据处理程序失败，但是core-dns所在的pod上市能解析该域名的。

分析

1. 域名完全不能解析

查看coredns的配置文件如下

apiVersion: v1
data:
  Corefile: |
    .:53 {
        errors
        health {
           lameduck 5s
        }
        ready
        kubernetes cluster.local in-addr.arpa ip6.arpa {
           pods insecure
           fallthrough in-addr.arpa ip6.arpa
           ttl 30
        }
        prometheus :9153
        forward . /etc/resolv.conf {
           max_concurrent 1000
        }
        cache 30
        loop
        reload
        loadbalance
    }
kind: ConfigMap
metadata:
  name: coredns
  namespace: kube-system

其中 forward . /etc/resolv.conf 配置表示使用当coredns内部不能解析的时候，向宿主机上的resolv.conf文件中配置的nameserver转发dns解析请求，当宿主机上namserver有多个时，默认采用的时random的方式随机转发，失败后就返回错误。

查看数据处理容器中的resolv.conf文件，确认对应的nameserver是指向core-dns对应的service的，对应的core-dns的日志显示正常，没有看到异常信息。由此可以推断coredns在该节点上启动的时候该节点上的resolv文件中还没有能解析指定存储域名的nameserver，应该是后续人为手动加上的，找相关的运维人员确认，确实是后续加上的，所以解决方式是删除coredns的pod，让其在该node上重建，测试dns的解析是正常的，但是多尝试几次发现会出现不能解析的情况。

2. 域名完全偶尔不能解析
在问题一中我们说了当宿主机上namserver有多个时，coredns内部默认采用的时random的方式随机转发，失败后就返回错误。由于是在云上的环境，我们添加上公司的nameserver后，云环境自己也有对于的nameserver在resolv.conf文件中配置，导致coredns在转发的时候，random方式选择到云环境自己的dns nameserver的时候，就解析不了我们内部使用的存储的域名，所以解决方式是修改resolv.conf文件，将我们自己的nameserver添加到宿主机resolv.conf第一个nameserver，然后修改coredns配置，将其forward的policy设置为sequential，然后重建coredns的pod，常见的coredns的forward插件的配置请参考coredns forward plugin，修改后的配置文件如下

apiVersion: v1
data:
  Corefile: |
    .:53 {
        errors
        health {
           lameduck 5s
        }
        ready
        kubernetes cluster.local in-addr.arpa ip6.arpa {
           pods insecure
           fallthrough in-addr.arpa ip6.arpa
           ttl 30
        }
        prometheus :9153
        forward . /etc/resolv.conf {
           max_concurrent 1000
           policy sequential
        }
        cache 30
        loop
        reload
        loadbalance
    }
kind: ConfigMap
metadata:
  name: coredns
  namespace: kube-system

至此，dns解析的问题解决，通常k8s使用dns的时候，还会出现k8s集群内部的service (DNS A或者AAAA记录)解析失败的问题，通常可以查看coredns的的kubernetes的插件是否配置正确，通常一些云环境默认的kubrenetes的插件配置可能不能正常work，可以参考core dns kubernetes plugin的文档进行相关配置的修改来解决相关问题。