问题表现

当访问并发量比较大时, 请求会频繁超时.

问题原因

由于程序内部实现中会频繁访问日志服务器, 但当时 日志服务器没有部署到 kubernetes 中,所以使用 CoreDNS hosts 插件进行自定义域名解析来实现.
出问题时, CoreDNS CPU 一直在 10-30% 之间波动.由于CPU并没有跑满, 怀疑此处有问题但并没有将此处当做本次的瓶颈.排查完其他问题后最后才排查此处问题.
最终确认确实是此处导致的性能瓶颈问题, 导致浪费了一下午的时间.

整个过程中, CoreDNS 监控均显示一切正常, 只是查询次数有些多, 监控显示有 1.8kpps 左右. 其中绝大多数都被缓存命中, 所以给人感觉压力可能并不大.
但后面实在找不到原因之后将 日志服务器解析方式从 hosts 插件改成 Deployment 配置 hostAliases 之后,问题瞬间解决.

最终确认问题如下(此处需要细查继续确认)

CoreDNS 在大量查询情况下可能存在慢查询的情况
Kubernetes 默认会给 Pod 添加 6 个搜索域, 导致一次外部 DNS 查询最少需要查询 6 次才能获得正确结果,导致DNS访问量巨大.

解决方式

使用 Deployment 配置 hostAliases 替换原来使用 CoreDNS 进行DNS映射.

Logo
Cloudpods

开源、云原生的融合云平台

更多推荐

面向未来的 IT 基础设施管理架构——融合云（Unified IaaS）

随着数字化时代的到来，IT系统已成为人类社会正常运转不可或缺的组成部分。不远的未来，智能制造，5G和人工智能等技术将成为推动生产力发展的重要引擎，人类社会将面临前所未有的全面彻底的数字化浪潮。IT基础设施作为IT系统运行的平台和载体，是实现数字化的基石。在这场数字化浪潮中，企业必须积极拥抱云计算技术，采用符合技术发展趋势、面向未来的IT基础构架，才能在未来的竞争中赢得先机。 一、云计算历经十余年

avatar Cloudpods

Cloudpods负载均衡的功能介绍

作者:周有松 今天的内容会从以下几个方面展开： 负载均衡产品简介。主要介绍负载均衡作为一个云上产品，它的功能模型是怎样的，日常使用中会遇到的业务词汇负载均衡的功能与典型应用场景。这部分主要结合业务词汇，对负载均衡服务中常见的一些功能选项进行介绍，并举例介绍一些典型的应用场景最后，我们做一下总结，讨论一下负载均衡产品相比传统方式的优点 一、产品简介​ 1. 以NGINX为例​ 提到负载均衡，我们以

avatar Cloudpods

使用Linux vfio将Nvidia GPU透传给QEMU虚拟机

Linux 上虚拟机 GPU 透传需要使用 vfio 的方式。主要是因为在 vfio 方式下对虚拟设备的权限和 DMA 隔离上做的更好。但是这么做也有个缺点，这个物理设备在主机和其他虚拟机都不能使用了。 qemu 直接使用物理设备本身命令行是很简单的，关键在于事先在主机上对系统、内核和物理设备的一些配置。 单纯从 qemu 的命令行来看，其实和普通虚拟机启动就差了最后那个-device的选项。这

avatar Cloudpods