本次分享的 5 款技术，分别对应数据仓库全链路的关键环节，是数仓落地的 “基础设施”；技术的核心价值：让数据从 “采集” 到 “价值输出” 的每一步都更高效、自动化，降低数据使用门槛；工具如何服务于数仓目标”，而非孤立记忆工具功能 —— 所有技术最终都为 “数据驱动决策” 服务。

开源，基于内存存储，可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，Redis 内置了复制（replication），LUA脚本（Lua scripting），LRU驱动事件（LRU eviction），事务（transactions）和不同级别的 磁盘持久化（persistence）， 并通过Redis哨兵（Sentinel） 和自动分区（Cluster）提供高可用性（high av

构建在hadoop之上的数据分析工具，没有数据存储能力，只有使用数据的能力，操作数据交互采用sql，元数据存放在Derby或者Mysql上，数据存储在HDFS中，分析数据库底层实现的是MapReduce，执行程序实在Yarn上。

开源，基于内存存储，可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，Redis 内置了复制（replication），LUA脚本（Lua scripting），LRU驱动事件（LRU eviction），事务（transactions）和不同级别的 磁盘持久化（persistence）， 并通过Redis哨兵（Sentinel） 和自动分区（Cluster）提供高可用性（high av

开源，基于内存存储，可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，Redis 内置了复制（replication），LUA脚本（Lua scripting），LRU驱动事件（LRU eviction），事务（transactions）和不同级别的 磁盘持久化（persistence）， 并通过Redis哨兵（Sentinel） 和自动分区（Cluster）提供高可用性（high av

高可用的，高可靠的， 分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。借用用户图片：星川皆无恙：Client生产数据，运行在一个独立的线程。Event：一个数据单元，消息头和消息体组成。（Events可以是日志记录、 avro 对象等。header(k=v) map对象 body(byte array)字节数组Flow：Event从源点到达目的点的迁移的抽象。Agent