logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Flume之 各种 Channel 的介绍及参数解析

一、Channel介绍Channel被设计为Event中转临时缓冲区,存储Source收集并且没有被Sink读取的Event,为平衡Source收集和Sink读取数据的速度,可视为Flume内部的消息队列。Channel线程安全并且具有事务性,支持source写失败重复写和sink读失败重复读等操作。常用的Channel类型有Memory Channel、File Channel、KafkaCha

#flume
Flume之 各种 Source 的介绍及参数解析

一、Source介绍Source用于对接各种数据源,将收集到的事件发送到临时存储Channel中。常用的source类型有:Avro Source、Exec Source、Kafka Source、TaildirSource、Spooling Directory Source等,其他类型source请查阅Flume-NG官方介绍。1、Avro Source支持Avro协议,接收RPC事件请求。Av

#flume#big data
到底了