从原理到落地：ELK Stack 收集 Docker 容器日志的 Filebeat 配置细节

原理简介

ELK Stack（Elasticsearch、Logstash、Kibana）是一个用于日志收集、存储、分析和可视化的开源平台。其中，Filebeat 作为轻量级的日志收集器，负责监控日志文件并将数据传输到 Logstash 或 Elasticsearch。对于 Docker 容器日志：

• Docker 容器日志默认以 JSON 格式存储在主机文件系统中，路径通常为 /var/lib/docker/containers/*/*.log。
• Filebeat 监控这些文件，读取新增日志事件，并应用处理器（如解析 JSON）来提取字段（如容器 ID、时间戳）。
• 数据被发送到 Logstash（用于过滤和增强）或直接到 Elasticsearch（存储），最终通过 Kibana 进行查询和可视化。

整个流程的原理可概括为： $$ \text{Filebeat} \rightarrow \text{Logstash} \rightarrow \text{Elasticsearch} \rightarrow \text{Kibana} $$ 其中，Filebeat 的核心优势是高效、低资源占用，适合实时日志收集。

落地配置：Filebeat 详细步骤

以下是基于 Docker 环境的 Filebeat 配置细节。假设您已在主机上安装 Filebeat（版本 7.x 或更高），我们将从配置到测试逐步展开。

步骤 1: 配置 Filebeat 输入和处理器

Filebeat 的配置文件是 filebeat.yml。关键配置包括：

• 输入（Inputs）：定义监控的日志路径。
• 处理器（Processors）：解析 Docker 日志的 JSON 格式。
• 输出（Output）：发送数据到 Logstash 或 Elasticsearch。

示例配置文件（filebeat.yml）：

# 文件路径：/etc/filebeat/filebeat.yml

# 1. 输入配置：监控 Docker 容器日志
filebeat.inputs:
- type: filestream
  id: docker-logs
  paths:
    - /var/lib/docker/containers/*/*.log  # Docker 日志默认路径
  json.keys_under_root: true  # 将 JSON 键解析为顶级字段
  json.add_error_key: true    # 添加错误字段便于调试
  fields:
    log_source: docker        # 添加自定义字段标识日志来源

# 2. 处理器配置：增强日志处理
processors:
  - add_docker_metadata:      # 添加 Docker 元数据（如容器名、镜像）
      host: "unix:///var/run/docker.sock"
  - decode_json_fields:       # 解析 JSON 日志
      fields: ["message"]     # 指定要解析的字段
      target: ""              # 解析后覆盖原字段
  - drop_fields:              # 删除无用字段
      fields: ["log.offset", "input.type"]

# 3. 输出配置：发送到 Logstash（推荐用于预处理）
output.logstash:
  hosts: ["logstash-host:5044"]  # Logstash 服务器地址和端口

# 或直接输出到 Elasticsearch（简化架构）
# output.elasticsearch:
#   hosts: ["elasticsearch-host:9200"]
#   username: "elastic"
#   password: "your-password"

# 4. 其他设置
logging.level: info  # 日志级别
queue.mem.events: 4096  # 内存队列大小

关键配置细节说明

• 输入路径（paths）：/var/lib/docker/containers/*/*.log 是 Docker 默认日志路径。确保 Filebeat 有读取权限（通常需将 Filebeat 加入 docker 组）。
• JSON 解析（json.keys_under_root）：将 Docker 日志的 JSON 结构（如 {"log":"message", "stream":"stdout"}）解析为字段，便于 Kibana 搜索。
• Docker 元数据（add_docker_metadata）：通过 Docker socket 获取容器信息（如容器名），需确保 Filebeat 能访问 /var/run/docker.sock。
• 输出选择：
  • 使用 Logstash（推荐）：可进一步过滤日志（如提取错误级别），配置更灵活。
  • 直连 Elasticsearch：简化架构，但需处理认证（如用户名/密码）。
• 权限和资源：运行 Filebeat 时，使用 --strict.perms=false 参数避免权限问题，并限制资源（如 queue.mem.events 防止内存溢出）。

步骤 2: 启动 Filebeat 并测试

1. 启动 Filebeat：

   sudo systemctl start filebeat  # 或使用 Docker 容器运行
   

2. 验证数据流：
   • 检查 Filebeat 日志：tail -f /var/log/filebeat/filebeat。
   • 在 Kibana 中创建索引模式（如 filebeat-*），查看日志是否可见。
3. 常见问题处理：
   • 如果日志未出现：确保路径正确，并使用 filebeat test config 测试配置文件。
   • 如果字段缺失：检查 JSON 解析是否成功，可通过添加 - debug 处理器输出调试信息。

优化建议

• 性能优化：在 filebeat.yml 中设置 max_procs: 1 限制 CPU 使用，或使用 loadbalance 输出到多个 Logstash 实例。
• 安全增强：启用 TLS 加密输出（如 output.logstash.ssl.certificate_authorities）。
• Docker 化 Filebeat：直接运行 Filebeat 容器，简化部署：

  docker run -d --name filebeat \
    -v /var/lib/docker/containers:/var/lib/docker/containers \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v /path/to/filebeat.yml:/usr/share/filebeat/filebeat.yml \
    docker.elastic.co/beats/filebeat:8.7.0
  

通过以上配置，Filebeat 能高效收集 Docker 日志，并与 ELK Stack 无缝集成。实践中，根据日志量调整参数（如 queue.mem.events），确保系统稳定。