1、推荐系统1.1、什么是推荐系统为了解决信息过载和用户无明确需求的问题，找到用户感兴趣的物品，才有了个性化推荐系统。1.2、推荐系统业务流程推荐系统广泛存在于各类网站中，作为一个应用为用户提供个性化的推荐。它需要一些用户的历史数据，一般由三个部分组成：基础数据、推荐算法系统、前台展示。基础数据包括很多维度，包括用户的访问、浏览、下单、收藏，用户的历史订单信息，评...

欧式距离也称欧几里得距离，是最常见的距离度量，衡量的是多维空间中两个点之间的 绝对距离 。以古希腊数学家欧几里得命名的距离，也就是我们直观的两点之间直线最短的直线距离。欧氏距离定义： 欧氏距离（ Euclidean distance）是一个通常采用的距离定义，它是在m维空间中两个点之间的真实距离。在二维和三维空间中的欧式距离的就是两点之间的距离，二维的公式是：三维的公式是：推广到n维空间，欧式距离

默认情况下，如果提供了preCombineKey，则insert into的写操作类型为upsert，否则使用insert。hoodie.sql.bulk.insert.enable 和 hoodie.sql.insert.mode。不需要指定模式和非分区列（如果存在）之外的任何属性，Hudi可以自动识别模式和配置。同hoodie.datasource.write.table.type。为了提高向

目录0. 相关文章链接1. 构建CentOS7环境2. 设置Docker2.1. 编译Hudi源码2.2. 安装docker和docker-compose2.3.运行 docker compose 脚本并设置配置以启动集群3. 运行Demo3.1. 使用脚本拉取案例数据并发送到kafka中3.2. 将kafka中的数据写入到Hudi中3.3. hudi数据于hive的集成3.4. 运行hive执行

问题1：不能写入数据到HDFS中（There are 1 datanode(s) running and 1 node(s) are excluded in this operation.）

数据仓库在企业是处于非常重要的位置；往前接收经由埋点而获取的用户行为日志、拉取商家（报社、博主等内容发布方）和用户交互的业务数据；往后输出的数据可以给领导层提供决策、可以给用户构建画像系统、可以判断用户喜好等。其他 离线数仓 相关文章链接由此进 ->........................

0. 相关文章链接1. Flink中分布式缓存概述Flink提供了一个类似于Hadoop的分布式缓存，让并行运行实例的函数可以在本地访问。这个功能可以被使用来分享外部静态的数据，例如：机器学习的逻辑回归模型等。广播变量是将变量分发到各个TaskManager节点的内存上，分布式缓存是将文件缓存到各个TaskManager节点上。2. 编码步骤注册一个分布式缓存文件：env.registerCach

赵宏田 老师的 用户画像·方法论与工程化解决方案 一书读后笔记主要记录的是该书中 用户画像之标签数据存储 一章

赵宏田 老师的 用户画像·方法论与工程化解决方案 一书读后笔记主要记录的是该书中 用户画像之标签数据存储 一章

目录0. 相关文章链接1. 环境准备和数据准备2. Maven依赖3. 核心代码0. 相关文章链接大数据基础知识点 文章汇总1. 环境准备和数据准备对Hudi的环境准备和数据准备，可以参考博主的另一篇博文，这里就不多描述了，博文连接：数据湖之Hudi（9）：使用Spark向Hudi中插入数据2. Maven依赖在另一篇博文中有Maven依赖，但在这里还是补充一下<repositories&g