0 数据准备本实战项目的数据是采集自电商的用户行为数据.主要包含用户的 4 种行为: 搜索, 点击, 下单和支付.数据格式如下, 不同的字段使用下划线分割开_:数据说明:数据采用_分割字段每一行表示用户的一个行为, 所以每一行只能是四种行为中的一种.如果搜索关键字是 null, 表示这次不是搜索如果点击的品类 id 和产品 id 是 -1 表示这次不是点击下单行为来说一次可以下单多个产品, 所以品

搭建离线数仓，并实现数据采集到简单数据分析过程

Linux系统句柄问题分析1 概念句柄就是一个对象的标识符，只要获得对象的句柄，我们就可以对对象进行任意的操作，包括窗口，按钮，图标，输出设备，控件或者文件等；句柄是一种特殊的智能指针，用一个唯一的整数值标识一个对象（即编号），并不指向实际的内核对象，而是内核对象的虚拟地址；只有Windows中才有句柄，Windows中的句柄是指针的指针，因为windows中对象的经常会在内存中移动，所以地址值经

本文基于Ambari-2.7.7版本进行源码编译，并输出详细文档说明

Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。Apache Hudi不仅非常适合于流工作负载，而且还允许创建高效的增量批处理管道

0 ProcessFunction API我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。基于此，DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Pr

1 Kafka报错：1)Error while fetching metadata with correlation id 4 : {first2=LEADER_NOT_AVAILABLE}2)onnection to node -1 could not be established. Broker may not be available.使用KAFKA的JAVA-API，远程连接kafka服务

0 背景执行如下yaml文件创建Pod时发生报错---apiVersion: v1kind: Podmetadata:name: volume-podspec:containers:- name: tomcatimage: tomcat:latestports:- containerPort: 8080volumeMounts:- name: app-logsmountPat