Logstash

简介： Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到"储存库" 数据的收集，处理和储存。

• Logstash 是 Elastic Stack 的中央数据流引擎，用于收集、丰富和统一所有数据，不管格式或模式

1、下载与使用

官网下载地址 下载和你elasticsearch一致的版本

(链接：https://pan.baidu.com/s/1sucD1jATrZ3ONptT6a90QQ 提取码：dlwa)

• 解压

• 使用

  • 这个不用安装，主要通过logstash将数据集导elasticsearch

• 1、在 bin 目录下创建 logstash.conf，写入

  input {
  stdin{
  }
  }
  
  output {
  stdout{
  }
  }
  

• 2、启动

  • 切换到 logstash/bin 目录下

  logstash -f logstash.conf
  

• 3、访问http://localhost:9600/

2、输入、过滤器和输出

Logstash 能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构，从 IP 地址解码出地理坐标，匿名化或排除敏感字段，并简化整体处理过程。

输入

采集各种样式、大小和来源的数据

数据往往以各种各样的形式，或分散或集中地存在于很多系统中。 Logstash 支持 各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

过滤器

实时解析和转换数据

官网过滤器插件

数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，更轻松、更快速地分析和实现商业价值。

• 利用 Grok 从非结构化数据中派生出结构
• 从 IP 地址破译出地理坐标
• 将 PII 数据匿名化，完全排除敏感字段
• 简化整体处理，不受数据源、格式或架构的影响

输出

选择储存库，导出您的数据

尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。

Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。