第一章 绪论

一、填空

1、机器学习的目标是使学得的模型能很好地适用于新样本，而不是仅仅在训练样本上工作得很好，学得模型适用于新样本的能力，称为_泛化_。

2、根据_训练数据是否拥有标记信息_，学习任务可以大致分为监督学习和无监督学习。

二、简答

1. 1.如何定义机器学习？

答：机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能，是关于在计算机上从数据中产生“模型”的算法，即“学习算法”。

2.解释机器学习术语：什么是特征，什么是标签。

答：反应事件或对象在某方面的表现或性质的事项，例如“色泽”“根蒂”“敲声”，称为“属性”（attribute）或“特征”（feature）。

要建立关于“预测”（prediction）的模型，需要获得训练样本的“结果”信息。关于示例结果的信息，成为“标记”（label）。

3.最常见的两种监督学习任务是什么？

答：分类与回归。

第二章 模型评估与选择

1.以二分类任务为例，假定数据集D包含1000个样本，将其划分为训练集S和测试集T，其中S包含800个样本， T包含200个样本，用S进行训练后，如果模型在T上有50个样本分类错误，那么模型的正确率为_75%_。                                          

2.PR（Precision-Recall）曲线的横轴和纵轴分别是_查全率_和_查准率_。

3.ROC曲线的横轴和纵轴分别是_假正例率FPR_和_真正例率TPR_。

4.对于二分类问题，可将样本根据其真实类别与学习器预测类别的组合划分为真正例（true positive，TP）、假正例（false positive，FP）、真反例（true negative，TN）和假反例（false negative，FN）四种情形，请画出分类结果的混淆矩阵。

	预测为正例	预测为反例
真实正例	TP（真正例）	FN（假反例）
真实反例	FP（假正例）	TN（真反例）

5.F1度量是综合考虑了查准率和查全率的性能度量指标，请写出其公式。

6.有多种因素可能导致过拟合，其中最常见的情况是由于_模型复杂度过高，学到训练样本的噪声或特殊特性_，以至于把训练样本所包含的不太一般的特性都学到了，而欠拟合则通常是由于_模型复杂度不足，无法捕捉数据的潜在规律_而造成的。

7.查准率和查全率是分类任务中常用的性能度量指标，请写出其公式并对这两种指标进行分析。

查准率：预测为正例的样本中，真正为正例的比例。

查全率：真实为正例的样本中，被正确预测为正例的比例。

两者关系：通常存在权衡（一个升高另一个就降低），需根据业务需求选择侧重。

8. 简述k折交叉验证法。

步骤：将数据集划分为 k 个大小相似的互斥子集（折），每次用 k-1 个子集作为训练集，剩余 1 个作为测试集，重复 k 次（每次轮换测试集），最终取 k 次性能的平均值作为模型评估结果。

作用：减少数据划分随机性对评估结果的影响，充分利用数据，是常用的模型评估方法。

9.分析偏差和方差的含义。

偏差（Bias）：模型预测值与真实值的系统性误差，反映模型对数据规律的拟合能力。高偏差意味着模型过于简单（欠拟合），无法捕捉数据趋势。

方差（Variance）：模型对不同训练集的敏感程度，反映模型的稳定性。高方差意味着模型过于复杂（过拟合），对训练数据的细节过度敏感，泛化能力差。

目标：在偏差和方差之间寻求平衡，使模型既不过于简单也不过于复杂。

10.对于一个三分类问题，数据集的真实标签和模型预测标签如下：

真实标签	1	1	2	2	2	3	3	3	3
预测标签	1	2	2	2	3	3	3	1	2

分别计算模型的精确率、召回率、F1值以及它们的宏平均和微平均。

真实标签与预测标签对应关系：

真实标签	预测标签	计数
1	1	TP=1
1	2	FN=1
2	2	TP=2
2	3	FN=1
3	3	TP=2
3	1	FN=1
3	2	FN=1

（2）每类的精确率（P）、召回率（R）、F1

类别 1：

TP=1，FP（预测为 1 但真实非 1）=1（真实 3 被预测为 1）

P₁ = 1/(1+1) = 0.5

R₁ = 1/(1+1)（真实 1 共 2 个）= 0.5

F1₁ = 2×0.5×0.5/(0.5+0.5) = 0.5

类别 2：

TP=2，FP（预测为 2 但真实非 2）=2（真实 1 和 3 被预测为 2）

P₂ = 2/(2+2) = 0.5

R₂ = 2/(2+1)（真实 2 共 3 个）≈ 0.6667

F1₂ = 2×0.5×0.6667/(0.5+0.6667) ≈ 0.5714

类别 3：

TP=2，FP（预测为 3 但真实非 3）=1（真实 2 被预测为 3）

P₃ = 2/(2+1) ≈ 0.6667

R₃ = 2/(2+2)（真实 3 共 4 个）= 0.5

F1₃ = 2×0.6667×0.5/(0.6667+0.5) ≈ 0.5714

（3）宏平均（Macro-average）

宏精确率 = (0.5 + 0.5 + 0.6667)/3 ≈ 0.5556

宏召回率 = (0.5 + 0.6667 + 0.5)/3 ≈ 0.5556

宏 F1 = (0.5 + 0.5714 + 0.5714)/3 ≈ 0.5476

（4）微平均（Micro-average）

全局 TP=1+2+2=5，总 FP=1+2+1=4，总 FN=1+1+2=4

微精确率 = 5/(5+4) ≈ 0.5556

微召回率 = 5/(5+4) ≈ 0.5556

微 F1 = 2×0.5556×0.5556/(0.5556+0.5556) ≈ 0.5556

第三章 线性模型

1.在梯度下降过程中，学习率控制着算法每一轮迭代中的更新步长，如果学习率设置的太大容易振荡，设置太小则_收敛速度过慢_。

2.均方误差有非常好的几何意义，它对应了常用的欧氏距离。基于均方误差最小化来进行模型求解的方法称为_最小二乘法_。

3.如果使用数据集的全部特征，学习模型在训练集上达到100%的准确率，但在测试集上仅能达到70%左右，这说明存在_过拟合_问题。

4.训练对数几率回归分类模型，如果在模型中引入正则项，正则化参数会对模型的性能有很大的影响，如果设置的过大则不能缓解过拟合问题，如果设置的过小_模型可能依然存在过拟合_。       

5.在预测任务中，给定样本集D={(x1,y1),(x2,y2),...,(xm,ym)}，其中yi是样本xi的真实标记。要评估学习器f的性能，就要把学习器预测结果f(x)与真实标记y进行比较。回归任务最常用的性能度量是均方误差，对应的公式为__。

6.线性回归模型是用线性模型的预测值逼近样本的真实标记，对数几率回归模型是用线性回归模型的预测结果去逼近真实标记的_对数几率_。

7.Logistic回归（Logistic Regression，LR）是一种常用的处理二分类问题的线

性模型。Softmax 回归（Softmax Regression），也称为多项（Multinomial）或多类（Multi-Class）的Logistic回归，是Logistic回归在_多分类_问题上的推广。

8.Logistic 回归采用_对数损失函数_作为损失函数，并使用_梯度下降法_来对参数进行优化。

9.写出对数几率回归模型中样本x属于类别{0,1}的概率公式。

10.基于一些基本策略，可以利用二分类学习器解决多分类问题。多分类学习的基本思路是“拆解法”，将多分类任务拆为若干个二分类任务求解。最经典的拆分策略有一对一、一对多和多对多。如果给定数据集中包含个样本，对应有个类别，请分析一对一和一对多策略的特点。

一对一：

优点：每个学习器仅使用两个类别数据训练，数据量小，训练速度快；受类别不平衡影响小（两两配对数据量差异小）。

缺点：需构建个学习器，当 K 较大时，学习器数量激增，存储和预测成本高。

一对多：

优点：仅需构建 K 个学习器，当 K 较大时，数量远少于 OvO，存储和预测成本低。

缺点：每个学习器的训练数据存在严重类别不平衡（负类样本数为正类的 (K-1) 倍），可能导致模型偏向负类，对正类预测性能下降。

11、给出线性模型的基本形式。（向量形式）

第四章 决策树

1、决策树是一类常见的机器学习方法，是基于树结构进行决策的。一般的，一棵决策树包含两类结点：内部节点和叶结点，其中内部节点表示表示一个特征或属性，叶结点表示决策结果。

2、在决策树学习中，一般情况下，属性a的信息增益越大，则意味着使用属性a来进行划分获得的_分类效果更好/数据集不确定性降低更多_。                    

3、信息增益准则对取值数目多的属性有所偏好，增益率准则对取值数目少的属性有所偏好。 

4、在决策树学习中，C4.5决策树算法中采用二分法对连续属性进行离散化处理。

5、决策树学习算法包括3部分：特征选择、树的生成和树的剪枝。特征选择的目的在于选择对训练数据能够分类的特征。特征选择的关键是其准则，常用的准则有哪些，请简单描述。

信息增益：基于信息熵的减少量选择特征。信息增益越大，说明该特征划分后数据集纯度提升越显著。

增益率：增益率=信息增益/属性固有值，增益率准则对可取值数目较少的属性有所偏好。

基尼指数：基尼值反映了数据集中随机抽取两个样本，其类别标记不一致的概率，数据集的纯度越高。属性的基尼指数在基尼值的基础上乘以一个固定值，选择是的划分后基尼指数最小的属性作为划分属性。

6、目标变量在训练集上的 10 个实际值 [0,0,0,0,1,1,1,1,1,1]，则目标变量的熵是。

7、C4.5决策树算法中采用二分法对连续属性进行处理。

8、常用的决策树学习算法有ID3、C4.5和CART，介绍它们采用的特征选择准则是什么？

ID3：信息增益。

C4.5：增益率。

CART：基尼指数。

9、简述决策树生成与决策树剪枝。

决策树生成：从训练数据出发，以“信息增益（或增益率、基尼指数）”为准则，递归选择最优特征对样本集进行划分，直至节点内样本全为同一类别或无更多特征可划分，最终形成结构完整、对训练数据拟合度高的决策树。核心是“贪心法”，每一步都追求当前局部最优划分。

决策树剪枝：生成的决策树易因过度拟合训练数据导致泛化能力差，剪枝通过 “降低树的复杂度” 优化模型。核心是引入 “正则化项” 平衡 “树的复杂度” 与 “训练误差”，删除对泛化性能无贡献的分支，最终得到结构更简洁、泛化能力更强的决策树。剪枝分为预剪枝和后剪枝。

10、决策树剪枝的基本策略有预剪枝和后剪枝，请简述并分析两种剪枝策略。

预剪枝是在决策树生成过程中，对每个节点划分前先进行泛化性能检验。若划分后模型泛化性能无提升或下降，则停止划分，将当前节点标记为叶节点。避免过度拟合，计算复杂度低；但易因“提前终止”截断有用分支，导致欠拟合。

后剪枝先完整生成一棵过拟合的决策树，再从叶节点向根节点回溯剪枝：将非叶节点替换为叶节点，若剪枝后验证集泛化性能提升，则保留剪枝结果，否则恢复原分支。不易欠拟合，能充分利用数据信息；但计算复杂度高，依赖合理的剪枝准则和验证集质量。

11、根据表4.1中的西瓜数据集，计算属性“纹理”的信息增益。

且“纹理”有3个属性取值{清晰，稍糊，模糊}，分别设为D1 D2 D3。

第五章 神经网络

1. Aor

2.下面的描述是否正确？在前面的括号中填True/False。

（False）（1）一个两层（一个输入层，一个输出层；没有隐含层）的神经网络可以表示XOR函数。

（True）（2）在神经网络中，如果每层都是用sigmoid函数作为激活函数，那么隐藏层神经单元的激活值在（0,1）范围内。

（True）（3）如果神经网络在训练集上过拟合，一种合理的解决方法是提高正则化参数λ的值。

（True）（4）假设正确地实现了反向传播算法，并且使用梯度下降来训练一个神经网络。如果把J(θ)作为迭代次数的函数，并且发现它是递增的而不是递减的。一个可能的原因是，学习速率太大了。

（True）（5）如果使用梯度下降来训练一个神经网络，一个合理的“调试”步骤以确保它的工作是将J(θ)作为迭代次数的函数，并确保在每次迭代之后它正在减少（或者至少不是增加）。

（False）（6）假定我们使用学习率为α的梯度下降。对于对数几率回归和线性回归，J(θ)是一个凸优化问题，因此我们不会选一个太大的学习率。然而对于神经网络，J(θ)可能是非凸的，因此选择一个非常大的α可以加速收敛。

3. M-P神经元模型中，神经元接收来自其他神经元传递过来的输入信号，这些输入信号通过带权重的链接进行传递，神经元接收到的总输入值与这个神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。

4.误差逆传播算法（BP算法）基于梯度下降策略，以目标的负梯度方向对参数进行调整。

5.假定一个单隐层的前馈神经网络，拥有m个输入神经元,n个输出神经元、q个隐层神经元，那么该神经网络中需要确定的连接权重参数有多少个？

从输入层到隐层的权重： m * q个

从隐层到输出层的权重： q * n个

共(mq + qn)个

6.常用来缓解BP网络的过拟合的策略有什么？

正则化：在损失函数中添加正则项。

早停：当验证集上的性能开始下降时停止训练。

dropout：随机丢弃一部分神经元的输出，减少神经元之间关系。

数据增强：一是采集新的数据进行数据扩充；二是根据已有数据集生成新的数据集从而达到数据数量上的增加。

7.请简述感知机模型，感知机的学习策略与学习算法。

其中一个超平面：             

感知机模型是一种二分类的线性分类模型，包括输入层和输出层。学习策略是试图找到一个能够将不同类别的数据分开的超平面。学习算法基于误分类的迭代过程，每次迭代中，对于被错误分类的样本，感知机更新权重减少误分类的数量。

8. 误差逆传播（error BackPropagation，简称BP）算法是神经网络学习算法，简述使用BP算法训练多层前馈神经网络的工作过程。

输入数据通过网络的每一层，每层的神经元计算其加权输入的总和，然后通过激活函数生成输出，传递到下一层。随后网络的最后一层输出与真实标签比较，计算损失函数的值。损失函数的梯度从输出层开始反向传播到网络的每一层，计算每层每个权重参数的梯度。之后使用梯度下降法或其他优化算法，根据计算出的梯度更新网络中的权重和偏置。重复上述过程，直到达到停止条件。

9.简述标准BP算法与累积BP算法的区别。

标准BP算法在每次迭代中，网络只使用一个训练样本来计算梯度，并更新权重。这意味着每次权重更新只考虑了一个样本的信息。而累积BP算法在每次迭代中使用整个训练集或一个较大的数据批次来计算梯度，并更新权重，有助于避免局部最小值，但需要更多的计算资源和内存。

其区别在于权重更新的时机和方式不同。     

第六章 支持向量机

1、试证明样本空间中任意点x到超平面(w,b)的距离公式为6.2。

2、对于软间隔支持向量机，每个样本都有一个对应的松弛变量，用以表征该样本偏离 “硬间隔” 约束的程度（即样本被错误分类、或落在间隔边界内侧的程度）。

3、在软间隔SVM的优化目标函数中，参数表示_对 “违反间隔约束样本” 的惩罚力度_。

4、在SVM训练好之后，可以不考虑非支持向量的样本点，仍然可以对新样本进行分类。

5、在决定分离超平面时，只有支持向量起作用。如果移动这些实例点将改变所求的解；但是在间隔边界以外移动其他实例点，甚至去掉这些点，则解是不会改变的。

6、对于求解线性分类问题，线性分类支持向量机是一种非常有效的方法。如果分类问题是非线性的，可以将样本映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分，利用核函数可以隐式地定义特征空间。

7、在决定分离超平面时，只有支持向量起作用。如果移动这些实例点将改变所求的解；但是在间隔边界以外移动其他实例点，甚至去掉这些点，则解是不会改变的。        

8、给定线性可分训练数据集=T={(x1,y1),(x2,y2),...,(xn,yn)}，yi属于{-1，+1}，请构造线性可分支持向量机学习的最优化问题。假定求得最优解，请给出最大间隔分离超平面。

9、试述SVM软间隔与SVM硬间隔的区别。

SVM 的硬间隔与软间隔核心差异体现在适用场景、约束设定和优化目标上：硬间隔 SVM 仅适用于训练数据严格线性可分的场景，它要求所有样本都必须满足分类约束，即对于每个样本（xi,yi）， 都有yi(w·xi+b)>=1，不存在任何松弛空间，其优化目标仅为最小化1/2||w||2以最大化分类间隔，这种设定下模型会强制所有样本正确分类，但若数据存在噪声或轻微不可分的情况，硬间隔 SVM 无法求解，且容易因过度追求无错分而出现过拟合。而软间隔 SVM 则针对线性不可分或含噪声 / 异常值的训练数据设计，它引入了非负的松弛变量ξ i来表征样本偏离硬间隔约束的程度，此时约束条件放宽为yi(w·xi+b)>=1-ξ i，ξ i越大说明样本违反约束的程度越高，对应的优化目标也调整为min1/2||w||2+C∑Ni=1ξ i，其中参数C控制对违反约束样本的惩罚力度，C越大越接近硬间隔 SVM，C越小则允许更多样本违反约束，软间隔 SVM 通过这种方式兼顾了间隔最大化和错分样本的惩罚，具备更强的鲁棒性，能适配更复杂的实际数据场景。

10、试述机器学习中L1正则化和L2正则化。

L1 正则化（L1 Regularization）形式：

• 惩罚项为参数的 L1 范数，即λ∑i​∣wi​∣（λ为正则化系数）；
• 损失函数示例：L=∑i=1N​(yi​−y^​i​)2+λ∑j​∣wj​∣；
• 特点：会使部分参数变为 0，实现特征选择；惩罚项是绝对值函数，导数不连续，优化时易得到稀疏参数；惩罚与参数绝对值成正比，不会过度惩罚大参数。

L2 正则化（L2 Regularization，也叫权重衰减）形式：

• 惩罚项为参数的 L2 范数的平方，即λ∑i​wi 2​；
• 损失函数示例：L=∑i=1N​(yi​−y^​i​)2+λ∑j​wj​    2​；
• 特点：不会使参数变为 0，仅让参数值变小；惩罚项是平方函数，导数连续，优化更平滑；对异常值更敏感（惩罚与参数平方成正比，大参数会被大幅惩罚）；可防止模型参数过大导致的过拟合。 

                   

第七章 贝叶斯分类器

1、朴素贝叶斯分类器采用了属性条件独立性假设。

2、给定贝叶斯公式P(cj|x)=（P(x|cj)P(cj)）/P(x)，公式中P(cj|x)为（B） 

       A先验概率B后验概率C全概率D联合概率

3、贝叶斯分类器属于生成式模型，支持向量机属于判别式模型。

4、半朴素贝叶斯分类器的基本想法是适当考虑一部分属性之间的依赖关系（而非完全独立），从而既不需要进行完全联合概率计算，又不至于彻底忽略了比较强的属性依赖关系。

5、EM算法提供一种近似计算含有隐变量的概率模型参数的极大似然估计的方法。

6、EM算法时常用的估计参数隐变量的方法，是一种迭代式的方法，能收敛到局部最优解。

7、在朴素贝叶斯分类器的训练过程中，为了避免其他属性携带的信息被训练集中未出现的属性值抹“抹去”，在估计概率值时通常要进行“平滑”，常用拉普拉斯修正。

在朴素贝叶斯分类器的训练过程中，拉普拉斯修正避免了因训练集中未出现某个属性值-类别组合，导致条件概率估计为0，进而使后验概率计算结果失真的问题。

8、简述EM（Expectation-Maximization）算法的用途及其基本思想。

用途：EM算法主要用于含有隐变量的概率模型的参数估计（极大似然估计或最大后验估计），解决因隐变量无法观测导致的似然函数难以直接优化的问题。

基本思想：EM算法是迭代优化算法，分为两步交替执行，直至参数收敛：

E步（期望步，Expectation）：固定当前估计的模型参数，计算隐变量的后验概率，将对数似然函数转化为“关于隐变量期望的对数似然期望”（Q函数）；

M步（最大化步，Maximization）：固定隐变量的期望，最大化Q函数以更新模型参数 ；

核心逻辑：通过“补全隐变量信息→优化参数”的迭代，逼近含隐变量模型的参数极大似然估计。

9、请用表4.1西瓜数据集2.0训练一个朴素贝叶斯分类器，试估计先验概率和前两个属性的条件概率；如果给定测试样本（浅白，蜷缩，清脆，清晰，平坦，硬滑），写出后验概率公式。

（太多了懒得写orz）

第八章 集成学习

1、根据个体学习器的生成方式，目前的集成学习方法大致可以分为哪两类？

序列化集成方法和并行化集成方法。

序列化集成方法：个体学习器的生成存在先后顺序，后续学习器会根据前序学习器的表现进行调整与优化，核心思想是利用个体学习器之间的强依赖关系提升集成性能。

并行化集成方法：个体学习器的生成过程相互独立、可并行执行，核心思想是利用个体学习器之间的弱依赖关系，通过降低方差提升集成稳定性。

2、简述Boosting算法与Bagging算法，并分析其区别；

（1）Boosting算法:逐步聚焦困难样本，修正前序模型偏差。先训练一个基础学习器，然后根据该学习器的预测结果，提高被错误分类样本的权重，降低被正确分类样本的权重；接着基于调整权重后的样本集训练下一个基础学习器；重复此过程生成多个学习器，最终通过加权投票或加权求和的方式组合所有学习器的预测结果。通过迭代修正偏差，降低集成模型的偏差，提升模型的拟合能力。

（2）Bagging算法:通过样本扰动，生成多样化的基础学习器，降低方差。采用自助采样法，从原始样本集中随机、有放回地抽取多个与原样本集大小相同的子集；基于每个子集独立训练一个基础学习器；最终通过分类任务或回归任务组合所有学习器的预测结果。通过并行生成多样化的学习器，降低集成模型的方差，提升模型的泛化能力，缓解过拟合。

（3）区别：

  Boosting属于序列化集成方法，基学习器的训练存在明显的先后顺序，且有强依赖关系；而Bagging属于并行化集成方法，所有基学习器的训练过程相互独立、可同步执行，不存在依赖关系。

  Boosting会动态调整样本权重，每一轮训练都会提高被错误分类样本的权重，且表现更优的学习器会被赋予更高的权重参与最终决策；Bagging则采用固定的样本权重，通过自助采样实现样本的随机扰动，且所有基学习器的权重完全相同。

  Boosting的核心目标是降低模型的偏差，提升模型对复杂数据的拟合能力，易陷入过拟合；Bagging的核心目标是降低模型的方差，增强模型的泛化能力，具备良好的抗过拟合特性，稳定性更强。

3、简述随机森林算法，分析其提高基学习器的多样性的策略；

随机森林是以决策树为基础学习器，通过样本扰动+特征扰动的双重策略，构建高多样性的决策树集成，广泛应用在分类、回归任务。

提升基学习器的多样性策略：

样本扰动:采用自助采样法，每个基础决策树的训练样本都是原始样本集的一个随机子集，且子集之间存在重叠和差异。不同的样本子集会导致决策树学习到不同的样本规律，从而产生差异。

特征扰动:在决策树的节点分裂过程中，不再从全部特征中选择最优分裂特征，而是随机抽取一个特征子集，从该子集里选择最优分裂特征。

4、简述集成学习中的多样性增强策略；

多样性增强的核心思路是引入不同的扰动因素，让基学习器在不同的空间中学习，产生差异化的预测结果。

数据扰动策略：对原始训练数据集进行扰动，生成不同的子集用于训练不同基学习器。（自助采样、分层采样）

特征扰动策略：对特征空间进行扰动，让不同基学习器使用不同的特征子集进行训练。（随机子空间法、特征选择）

算法扰动策略：为不同基学习器选择不同的学习算法，或同一算法的不同超参数。（异构集成、同构集成）

输出扰动策略：对学习器的输出进行扰动，间接提升多样性（对分类任务的标签进行轻微扰动、对回归任务的输出添加噪声）

第九章 聚类

1、简述K均值算法。

K均值算法,K-Means，是一种原型聚类算法，目标是将n个样本划分为k个不相交的簇，使得每个簇内的样本与该簇质心（均值向量）的相似度最高。简单高效、易于实现；但对初始质心的选择敏感，且需要预先指定k。

“初始化‌”：随机选择k个样本作为初始簇的质心；“分配数据点到簇‌”：计算每个样本到k个质心的距离，将样本分配给距离最近的质心对应的簇；“更新聚类中心”：对每个簇，计算簇内所有样本的均值向量，作为该簇新的质心；“重复迭代‌”：重复执行分配样本和更新质心步骤，直到质心的位置不再发生显著变化，或达到预设的迭代次数；得到最终的k个簇划分。

2、给定表9.1西瓜集4.0中的前10个样本，利用K均值算法划分为3个簇，写出具体的聚类过程。（假定取前3个样本作为初始均值向量）

k=3，则划分3个簇。

取前三个样本作为初始质心：m1=（0.697，0.460） m2=（0.774，0.376） m3=（0.634，0.264）

距离度量：

样本1 最小距离对应簇是簇1

样本2 最小距离对应簇是簇2

样本3 最小距离对应簇是簇3

............................................

样本10 最小距离对应簇是簇3

分配：

簇1：样本1；   簇2：样本2；     簇3：样本345678910；

更新质心：簇1（0.697，0.460） 簇2（0.774，0.376）

簇3（0.634+0.608+0.556+0.403+0.481+0.437+0.666+0.243）/8=0.5035

(0.264+0.318+0.215+0.237+0.149+0.211+0.091+0.267)/8=0.2190

最终结果：簇1：(0.697, 0.460)，质心为自身  簇2：(0.774, 0.376)  ，质心为自身

簇3：质心(0.5035, 0.2190)，8样本

3、常用的原型聚类算法有哪些？

K 均值算法K-Means：以簇内样本的均值向量作为原型，适用于连续特征数据。

K 中心点算法：为解决K-Means对异常值敏感的问题，改用簇内中位数样本作为原型，鲁棒性更强。

学习向量量化LVQ：基于神经网络的原型聚类算法，原型向量的更新受学习率和样本类别的指导，适用于带标签的聚类任务。

高斯混合模型GMM：假设数据由多个高斯分布混合生成，每个高斯分布对应一个簇，通过 EM 算法估计分布参数，属于概率模型类的原型聚类，样本可属于多个簇，对应不同概率。

4、层次聚类算法的数据集划分策略有哪些？

凝聚式层次聚类（自底向上）——简单直观，形成聚类树

初始时，每个样本单独为一个簇；不断合并最相似的两个簇，每合并一次，簇的数量减少 1（相似度常用簇间距离衡量，最小/最大/平均距离）；直到所有样本合并为一个簇，或达到预设的簇数量。

分裂式层次聚类（自顶向下）——适用样本量较小的数据集

初始时，所有样本作为一个簇；然后不断将当前最不均匀的簇分裂为两个子簇，每分裂一次，簇的数量增加 1（选择方差最大的簇进行分裂）；直到每个样本单独作为一个簇，或达到预设簇数量。