一、梯度下降法二、推荐系统模型三、ALS算法与显示矩阵分解

一、运行级别1、级别init级别systemctl target含义0shutdown.target关机 shutdowm -h now1emergency.target单用户 # 注意该模式不提供网络连接，所以无法使用超级终端进行连接。2rescure.target无网络多用户3multi-user.target命令行模式4无官方预留，未定义内容

一、函数1、概述2、案例3、nvl函数4、case when 函数5、explode6、列转行7、行转行二、分类三、自定义UDF与UDTF四、窗口函数1、over2、案例

一、梯度下降法二、推荐系统模型三、ALS算法与显示矩阵分解

日常运维工作中，越来越多的团队成员，包括开发人员、数据分析师和业务运营团队，需要实时查看和监控kafka主题中的数据，这对快速诊断问题、优化性能和支持数据驱动的决策十分重要。

一、Spark集群架构1、概述二、Saprk调度模块1、概述2、Scheduler的实现概述3、任务调度流程图4、细化三、Spark shuffle详解1、概述2、Hash Based Shuffle Manager3、Sort Based Shuffle Manager四、Shuffle相关参数配置1、概述2、常见配置①、spark.shuffle.manager②、spark.shuffle.

一、梯度下降法二、推荐系统模型三、ALS算法与显示矩阵分解

Hive由Facebook开源用于解决海量结构化日志的数据统计工具Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

一、Hive做离线批处理1、实现步骤①、启动hadoop，启动hive进入hive的bin目录（以后台方式启动）nohup hive --service metastore &nohuphive --service hiveserver2 &sh hive②、在hive下创建weblog库，并使用create database weblog;use weblog③、 创建外部表管理

一、数据挖掘与机器学习1、概念2、人工智能3、数据挖掘体系二、机器学习1、什么是机器学习2、机器学习的应用3、实现机器学习算法的工具与技术框架三、Spark MLlib介绍1、简介2、MLlib基本数据类型Ⅰ、概述Ⅱ、本地向量Ⅲ、向量标签的使用Ⅳ、本地矩阵Ⅴ、分布式矩阵的使用3、MLlib统计量基础Ⅰ、概述Ⅱ、计算基本统计量Ⅲ、计算相关系数四、距离度量和相似度度量1、概念2、欧氏距离3、曼哈顿距离