目录一、K-means算法1、简介2、基本思想及工作原理基本思想工作原理3、简单案例分析4、优缺点二、Spark ml实现K-means算法1、相关参数和构造方法2、MLlib 中的 k-means 训练函数3、MLlib 中的 k-means 的预测函数三、Spark ml实现k-means实例1、数据库连接的方法2、自定义函数3、数据清洗4、业务处理5、绘图分析质心点数重写绘图窗口方法分析质心

因为一些升级优化，库被删了，直接用配置里统一的数据库查询。2.select * from database.table_name 直接数据库点表的方式，如果库不存在并不会报数据库不存在，只会直接返回表层面无法访问，这个真是之前没有注意到过。1.SELECT command denied to user报错意思是‘用户的查询命令被拒绝’，并不是说权限问题，虽然很多情况是权限不够，后面遇到可以考虑换个

Spark SQL一、Spark SQL基础知识1、Spark SQL简介（1）简单介绍（2）Datasets & DataFrames（3）Spark SQL架构（4）Spark SQL的特点二、入门案例1、案例代码2、SparkSession3、代码分析（1）创建spark Session（2）创建Dataset样例类创建Tuple创建JSON创建RDD创建（3）创建Dataframe

面向对象面向对象概念1、封装含义及优点封装的分类和实现2、继承继承的主要形式关键的词汇extendsimplementssuper 与 thisfinalstatic3、多态含义形式解释上转型下转型面向对象面向对象简称 OO（Object Oriented），20 世纪 80 年代以后，有了面向对象分析（OOA）、 面向对象设计（OOD）、面向对象程序设计（OOP）等新的系统开发方式模型的研究。对

前言：经常在各种数据工作的文章中看到这个词，看词语意思就是要把数据管理好。作为数据基础支撑工作，其重要性也是可以想象的，平时工作中，有数据问题，一圈查下来就是一条记录的质量问题，更坑的是可能会多次都是因为同一种问题。这里有原始业务代码的bug，也有数据没有做好监管的问题。这也是很多时候的痛点。不仅是传统提供数据仓库、BI、主数据管理、元数据管理、数据集成等数据服务的软件供应商在说数据治理，“BAT

Linux下扩展根分区-非LVM</h1><div class="clear"></div><div class="postBody">目录VMware虚拟机中配置Linux中设置 引言在配置大数据节点的过程中，node03节点由于安装了图形化界面，以及IDEA等工具，导致/根分区只有几百兆了，因此需要对根分区进行扩...

目录一、ALS算法概括二、ALS算法原理及运用（1）、协同过滤（2）、ALS算法工作原理（3）、ALS算法输入的参数三、代码实现一、ALS算法概括1、ALS算法用来补全用户评分矩阵。由于用户评分矩阵比较稀疏，将用户评分矩阵进行分解，变成V和U的乘积。通过求得V和U两个小的矩阵来补全用户评分矩阵。2、ALS算法使用交替最小二乘法来进行求解3、ALS分为显示反馈和隐式反馈两种。显示反馈是指用户有明确的

Linux下扩展根分区-非LVM</h1><div class="clear"></div><div class="postBody">目录VMware虚拟机中配置Linux中设置 引言在配置大数据节点的过程中，node03节点由于安装了图形化界面，以及IDEA等工具，导致/根分区只有几百兆了，因此需要对根分区进行扩...

Java OOP（Object Oriented Programming）就是面向对象的编程，之前的所说的一些Java基础主要是面向过程的编程。OOP=对象+类+继承+多态+消息，其中核心概念是类和对象。OO：面向对象，程序员将一类具有相同属性和行为的事物抽象的描述出来叫做类，类中存在的成员就是对象或者是方法。1、类：OOP中非常重要的一个知识。类中存着对象的属性和行为。是描述一类对象的模板。(1

HTTPServlet了解HTTPServlet之前要稍微介绍一下GenericServlet：GenericServlet1. GenericServlet概述GenericServlet是Servlet接口的实现类，但它是一个抽象类，它唯一的抽象方法就是service()方法。我们可以通过继承GenericServlet来编写自己的Servlet。2. GenericServlet的init(