11-1 常见日志采集问题和解决方案分析

传统服务

1 固定机器、固定目录

2 不受重启影响

3 不用关注stdout、stderr

 

k8s中的服务

1 节点不固定

2 重启服务会漂移

3 需关注stdout、stderr

 

k8s的日志

1 stdout、stderr

默认情况下回存放在/var/lib/docker/containers/<cname>/<cname>-json.log

2 日志文件

重启丢失

 

 

 

sidecar把日志文件转发到后端存储,也会影响pod里的内存 cpu 社区里不推荐使用这种方式.

会侵入pod

 

 

这种方式 每个节点只运行了一个agent,资源消耗小

入侵性小,对pod和应用没有侵入

但是要约定所有的日志都挂载到同一个主机目录

并且目录名也要尽量统一,否则难以维护

再者挂载的目录是实现定义好的,导致无法判断日志来自于哪个pod

需要定期清理日志的残留文件

 

课程实践的方案类似于上面的最后一个方案

 

一个节点运行一个agent,负责采集日志,转发到后端存储.agent采用阿里开源的logpilot.

es做存储,kibana做展示.

 

选用logpilot的原因:

别的工具有痛点,需要预先静态的配置好,而容器时动态的经常需要变化.

logpilot 既能够采集容器的标准输出,错误输出,也可以采集容器的文件日志.

 

 

logpilot

1智能的容器日志采集工具 可以将容器的标准日志采集到各种后端es kafaka logstash

redis,可以动态的发现并采集容器内部的日志文件

2自动发现机制 通过监听容器的事件 动态的配置日志采集 很好的解决日志重复 日志丢失以及日志标记的问题. 2017年初在github上开源

https://github.com/AliyunContainerService/log-pilot

 

本质就是在静态日志采集工具上 包了一层,通过回去docker的信息和事件去实现静态工具的动态配置.目前支持2中工具 1cncf社区的fluted插件 2filebeat插件