0 数据准备本实战项目的数据是采集自电商的用户行为数据.主要包含用户的 4 种行为: 搜索, 点击, 下单和支付.数据格式如下, 不同的字段使用下划线分割开_:数据说明:数据采用_分割字段每一行表示用户的一个行为, 所以每一行只能是四种行为中的一种.如果搜索关键字是 null, 表示这次不是搜索如果点击的品类 id 和产品 id 是 -1 表示这次不是点击下单行为来说一次可以下单多个产品, 所以品

bug解决maven不能正常打包问题

KUDU学习总结1 基础概念官方：https://kudu.apache.org/在 KUDU 之前，大数据主要以两种方式存储：•静态数据：以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析场景。这类存储的局限性是数据无法进行随机的读写。•动态数据：以 HBase、Cassandra 作为存储引擎，适用于大数据随机读写场景。这类存储的局限性是批量读取吞吐量远不如 HDFS，不适用于批量

大数据组件之数据采集工具FLume介绍/快速入门1 背景在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示：图：典型大规模离线数据处理平台2 Flume日志采集框架2.1 Flume介绍1）Flume是一个分布式、可靠、和高

搭建离线数仓，并实现数据采集到简单数据分析过程

0 介绍Phoenix 构建在 HBase 之上的开源 SQL 层. 能够让我们使用标准的 JDBC API 去建表, 插入数据和查询 HBase 中的数据, 从而可以避免使用 HBase 的客户端 API.在我们的应用和 HBase 之间添加了 Phoenix, 并不会降低性能, 而且我们也少写了很多代码。1 特点1） 将 SQl 查询编译为 HBase 扫描2）确定扫描 Rowkey 的最佳开

Linux系统句柄问题分析1 概念句柄就是一个对象的标识符，只要获得对象的句柄，我们就可以对对象进行任意的操作，包括窗口，按钮，图标，输出设备，控件或者文件等；句柄是一种特殊的智能指针，用一个唯一的整数值标识一个对象（即编号），并不指向实际的内核对象，而是内核对象的虚拟地址；只有Windows中才有句柄，Windows中的句柄是指针的指针，因为windows中对象的经常会在内存中移动，所以地址值经

本文基于Ambari-2.7.7版本进行源码编译，并输出详细文档说明

本文基于最新版海豚调度dolphinscheduler-3.1.3配置windows本地开发环境，并在windows本地进行调试和开发。

Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。Apache Hudi不仅非常适合于流工作负载，而且还允许创建高效的增量批处理管道