在这里插入图片描述

K8s是怎么做日志监控的?

在Kubernetes(K8s)环境中,日志监控是非常重要的一部分,可以帮助运维人员和开发者了解系统运行状态、排查故障和优化性能。常见的日志监控方式有三种:

1. Fluentd安装在宿主机上

这种方式将Fluentd安装在每个宿主机上,然后把日志转发到远端的Elasticsearch等存储服务中,以便备份和检索。

  • 优点:在一个节点上只需要部署一个Agent,不会对应用和Pod有任何入侵性,对系统资源的占用较少。
  • 缺点:应用程序需要将日志输出到容器的stdout和stderr,增加了一些配置复杂性。

例如:

apiVersion: v1
kind: Pod
metadata:
  name: mypod
spec:
  containers:
  - name: myapp
    image: myapp:latest
    command: ["myapp"]
    args: ["--logtostderr"]
  - name: fluentd
    image: fluentd:latest
    volumeMounts:
    - name: varlog
      mountPath: /var/log
  volumes:
  - name: varlog
    hostPath:
      path: /var/log
2. Sidecar容器日志收集

当容器日志可以输出到某些文件时,可以通过一个Sidecar容器来读取这些日志文件,并将其重定向到stdout和stderr,然后再使用第一种方式将日志收集到Fluentd。

  • 优点:弥补了第一种方式的不足,解决了应用程序必须输出到stdout和stderr的问题。
  • 缺点:增加了资源消耗和配置复杂性。

例如:

apiVersion: v1
kind: Pod
metadata:
  name: mypod
spec:
  containers:
  - name: myapp
    image: myapp:latest
    volumeMounts:
    - name: applogs
      mountPath: /var/log/myapp
  - name: log-collector
    image: fluentd:latest
    volumeMounts:
    - name: applogs
      mountPath: /var/log/myapp
  volumes:
  - name: applogs
    emptyDir: {}
3. Sidecar容器直接收集日志

这种方式是将Fluentd容器直接部署在Pod中,通过Sidecar容器将应用程序的日志直接发送到远端存储中,如Elasticsearch。

  • 优点:实现了集中管理和高效收集,日志处理延迟低。
  • 缺点:Sidecar容器会消耗更多的资源,不适用于日志量非常大的应用场景。

例如:

apiVersion: v1
kind: Pod
metadata:
  name: mypod
spec:
  containers:
  - name: myapp
    image: myapp:latest
  - name: log-collector
    image: fluentd:latest
    env:
    - name: FLUENTD_OUTPUT
      value: "elasticsearch"
    volumeMounts:
    - name: applogs
      mountPath: /var/log/myapp
  volumes:
  - name: applogs
    emptyDir: {}
  • 第一种方式:适用于日志量不大且可以输出到stdout和stderr的应用。
  • 第二种方式:适用于日志量中等且需要文件日志收集的应用。
  • 第三种方式:适用于日志量大且需要高效集中管理的应用。

详细解释K8s日志监控的三种方式示例

1. Fluentd安装在宿主机上

这种方式将Fluentd安装在每个宿主机上,收集所有容器的日志,然后转发到远端存储。

示例:

apiVersion: v1
kind: Pod
metadata:
  name: mypod
spec:
  containers:
  - name: myapp
    image: myapp:latest
    command: ["myapp"]
    args: ["--logtostderr"]
  - name: fluentd
    image: fluentd:latest
    volumeMounts:
    - name: varlog
      mountPath: /var/log
  volumes:
  - name: varlog
    hostPath:
      path: /var/log

解释

  • apiVersion: v1: 表示API版本是v1。
  • kind: Pod: 资源类型是Pod。
  • metadata: 定义Pod的元数据。
    • name: mypod: 指定Pod的名称为mypod。
  • spec: 定义Pod的规格。
    • containers: 包含Pod中的容器列表。
      • name: myapp: 容器名称为myapp。
      • image: myapp:latest: 使用myapp的最新镜像。
      • command: ["myapp"]: 指定容器启动命令为myapp。
      • args: ["--logtostderr"]: 传递参数,将日志输出到stderr。
      • name: fluentd: 容器名称为fluentd。
      • image: fluentd:latest: 使用Fluentd的最新镜像。
      • volumeMounts: 定义挂载的卷。
        • name: varlog: 卷的名称为varlog。
        • mountPath: /var/log: 将卷挂载到容器的/var/log目录。
    • volumes: 定义Pod使用的卷。
      • name: varlog: 卷的名称为varlog。
      • hostPath: 卷类型为hostPath,表示使用宿主机的文件系统。
        • path: /var/log: 指定挂载路径为宿主机的/var/log目录。

这个示例将应用程序的日志输出到stderr,Fluentd容器收集宿主机的/var/log目录中的日志,并转发到远端存储。

2. Sidecar容器日志收集

这种方式通过Sidecar容器来读取应用程序日志文件,并将其重定向到stdout和stderr。

示例:

apiVersion: v1
kind: Pod
metadata:
  name: mypod
spec:
  containers:
  - name: myapp
    image: myapp:latest
    volumeMounts:
    - name: applogs
      mountPath: /var/log/myapp
  - name: log-collector
    image: fluentd:latest
    volumeMounts:
    - name: applogs
      mountPath: /var/log/myapp
  volumes:
  - name: applogs
    emptyDir: {}

解释

  • apiVersion: v1: 表示API版本是v1。
  • kind: Pod: 资源类型是Pod。
  • metadata: 定义Pod的元数据。
    • name: mypod: 指定Pod的名称为mypod。
  • spec: 定义Pod的规格。
    • containers: 包含Pod中的容器列表。
      • name: myapp: 容器名称为myapp。
      • image: myapp:latest: 使用myapp的最新镜像。
      • volumeMounts: 定义挂载的卷。
        • name: applogs: 卷的名称为applogs。
        • mountPath: /var/log/myapp: 将卷挂载到容器的/var/log/myapp目录。
      • name: log-collector: 容器名称为log-collector。
      • image: fluentd:latest: 使用Fluentd的最新镜像。
      • volumeMounts: 定义挂载的卷。
        • name: applogs: 卷的名称为applogs。
        • mountPath: /var/log/myapp: 将卷挂载到容器的/var/log/myapp目录。
    • volumes: 定义Pod使用的卷。
      • name: applogs: 卷的名称为applogs。
      • emptyDir: 卷类型为emptyDir,表示使用Pod的临时目录。

这个示例通过一个Sidecar容器读取应用程序的日志文件,并将日志重新输出到Fluentd容器的stdout和stderr。

3. Sidecar容器直接收集日志

这种方式是将Fluentd容器直接部署在Pod中,通过Sidecar容器将应用程序的日志直接发送到远端存储。

示例:

apiVersion: v1
kind: Pod
metadata:
  name: mypod
spec:
  containers:
  - name: myapp
    image: myapp:latest
  - name: log-collector
    image: fluentd:latest
    env:
    - name: FLUENTD_OUTPUT
      value: "elasticsearch"
    volumeMounts:
    - name: applogs
      mountPath: /var/log/myapp
  volumes:
  - name: applogs
    emptyDir: {}

解释

  • apiVersion: v1: 表示API版本是v1。
  • kind: Pod: 资源类型是Pod。
  • metadata: 定义Pod的元数据。
    • name: mypod: 指定Pod的名称为mypod。
  • spec: 定义Pod的规格。
    • containers: 包含Pod中的容器列表。
      • name: myapp: 容器名称为myapp。
      • image: myapp:latest: 使用myapp的最新镜像。
      • name: log-collector: 容器名称为log-collector。
      • image: fluentd:latest: 使用Fluentd的最新镜像。
      • env: 定义环境变量。
        • name: FLUENTD_OUTPUT: 环境变量名称为FLUENTD_OUTPUT。
        • value: "elasticsearch": 环境变量值为"elasticsearch"。
      • volumeMounts: 定义挂载的卷。
        • name: applogs: 卷的名称为applogs。
        • mountPath: /var/log/myapp: 将卷挂载到容器的/var/log/myapp目录。
    • volumes: 定义Pod使用的卷。
      • name: applogs: 卷的名称为applogs。
      • emptyDir: 卷类型为emptyDir,表示使用Pod的临时目录。

这个示例中,Fluentd容器直接从应用程序的日志目录收集日志,并将其发送到远端的Elasticsearch存储。

这三种日志监控方式分别适用于不同的场景,具体选择哪种方式可以根据实际的需求和环境来决定。如果日志量不大且可以输出到stdout和stderr,可以选择第一种方式。如果需要收集文件日志,可以选择第二种方式。如果日志量大且需要高效管理,可以选择第三种方式。

本文由mdnice多平台发布

Logo

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐