机器学习027:无监督学习【聚类算法】（层次聚类）-- 给数据“画家族树”的智慧
·
生活中如何给事物分类？
想象一下这样的场景：你要整理家里的书柜。书很多，你会怎么整理呢？
有些人可能会先按类型分：小说、教材、杂志、漫画…然后在每个类型里，再按作者或者出版社细分。这种**“先粗后细”**的分类方法，其实就暗含了层次聚类的思想。
在人工智能的世界里，我们每天都要处理海量数据——可能是数百万张图片、几千万条用户评论，或是天文观测中的星系数据。如何让机器像我们整理书柜一样，自动发现数据中的“家族关系”，把相似的东西归到一起？这就是层次聚类算法要解决的问题。
今天，我们就来认识这位“数据整理大师”，看看它是如何工作的，又能帮我们解决哪些实际问题。
一、分类归属：它在AI家族中的位置
一句话定位
层次聚类属于“无监督学习”中的聚类算法，按结构特点划分是“树形结构”类算法，专门用于发现数据内部的自然分组结构。
详细解读
首先，我们得知道机器学习有两大阵营：
-
监督学习：像有老师教的学生，数据有“标准答案”（标签）
- 例如：给你1000张猫狗图片，每张都标好了“这是猫”或“这是狗”
- 常见任务：分类、预测
-
无监督学习：像自己观察世界的小孩，数据没有标签，全靠自己发现规律
- 例如：给你1000张未标记的图片，自己找出哪些长得像
- 常见任务：聚类、降维、关联分析
层次聚类属于无监督学习，它不需要任何“标准答案”，完全靠数据自己“说话”。
从算法结构上看，它构建的是一棵倒置的树（树状图）：
- 树根在最上方：包含所有数据点
- 树叶在最下方：每个数据点单独成类
- 中间的树枝：表示不同层次的聚类结果
二、底层原理：它是如何“画家族树”的？
核心思想类比：朋友圈的合并游戏
想象一个社交聚会，刚开始时：
- 每个人都是独立的“个体”
- 组织者开始寻找最相似的两个人，让他们组成第一个“小组”
- 接着，在现有小组和个人中，继续寻找最相似的，合并成更大的组
- 重复这个过程，直到所有人合并成一个“大集体”
这个过程就是凝聚式层次聚类（自底向上）。还有一种反向思路叫分裂式（自顶向下），但前者更常用。
四个关键步骤（以凝聚式为例）
第1步：从“孤岛”开始
- 每个数据点都是一个单独的类
- 假设有5个点：A、B、C、D、E
- 初始状态：{A}、{B}、{C}、{D}、{E} 五个类
第2步：计算“亲密度”
- 计算所有点两两之间的距离（亲密度）
- 距离越近，相似度越高，越应该合并
第3步：合并“最近亲”
- 找到距离最近的两个类（C和D）
- 把它们合并成一个新类：{C, D}
第4步：更新“关系网”
- 现在有{A}、{B}、{C, D}、{E}四个类
- 需要重新计算新类与其他类的距离
- 这是最关键的一步！如何计算两个“群组”的距离？
四种“群组亲密度”计算方法
假设有两个群组：
- 群组1：包含m个点
- 群组2：包含n个点
方法1：单链接法（最近邻）
- 思想：用两个群组中最近的两个点的距离代表群组距离
- 公式：
距离(群组1, 群组2) = min(群组1中任意点, 群组2中任意点的距离) - 好比：两个家庭的距离，由两家最友好的两个人的关系决定
- 特点：容易形成“链条状”聚类，对噪声敏感
方法2：全链接法（最远邻）
- 思想：用两个群组中最远的两个点的距离代表群组距离
- 公式：
距离(群组1, 群组2) = max(群组1中任意点, 群组2中任意点的距离) - 好比：两个家庭的距离，由两家关系最差的两个人决定
- 特点：聚类更紧凑，大小更均匀
方法3：平均链接法
- 思想：用两个群组所有点对的平均距离代表群组距离
- 公式：
距离(群组1, 群组2) = 所有(群组1点, 群组2点)距离的平均值 - 好比：两个家庭的距离，取两家所有人关系的平均值
- 特点：折中方案，最常用
方法4：质心法
- 思想：计算每个群组的“中心点”（质心），用质心距离代表群组距离
- 好比：两个家庭的距离，由两个家庭的“住址中心”决定
- 特点：可能产生逆反（距离反转）现象
可视化理解：距离矩阵的变化
让我们用一个简单例子，看看距离矩阵如何更新：
初始距离矩阵（5个点）：
A B C D E
A 0 1.2 3.4 4.0 4.5
B 1.2 0 1.5 2.8 3.2
C 3.4 1.5 0 1.1 2.0
D 4.0 2.8 1.1 0 2.0
E 4.5 3.2 2.0 2.0 0
发现C和D最近（距离1.1），合并为群组CD
更新后距离矩阵（4个类：A、B、CD、E），以单链接法为例：
- 距离(A, CD) = min(距离(A,C)=3.4, 距离(A,D)=4.0) = 3.4
- 距离(B, CD) = min(距离(B,C)=1.5, 距离(B,D)=2.8) = 1.5
- 距离(E, CD) = min(距离(E,C)=2.0, 距离(E,D)=2.0) = 2.0
新矩阵：
A B CD E
A 0 1.2 3.4 4.5
B 1.2 0 1.5 3.2
CD 3.4 1.5 0 2.0
E 4.5 3.2 2.0 0
重复这个过程，直到所有点合并为一类。
最终产出：树状图（Dendrogram）
层次聚类最直观的结果就是树状图，它记录了完整的合并历史：
树状图的妙用：
- 横轴：数据点
- 纵轴：合并时的距离（不相似度）
- 水平切割：在任意高度切一刀，就得到一个聚类结果
- 切得高 → 类少（粗分类）
- 切得低 → 类多（细分类）
- 不需要预先指定类别数！
三、局限性：它也不是万能的
虽然层次聚类很强大，但它也有自己的“短板”：
1. 计算成本高：不适合大数据
- 问题：需要计算和存储所有点对的距离
- 5个点 → 10对距离
- 1000个点 → 约50万对距离
- 100万个点 → 约5000亿对距离！（内存和计算都受不了）
- 好比：要给全校学生两两配对比较相似度，人越多工作量指数增长
2. 不可逆的合并：一步错可能步步错
- 问题：一旦合并，就不能撤销
- 如果某一步合并了不该合并的类，这个错误会一直传递下去
- 好比：拼图时如果两块拼错了，后面可能全盘皆错
3. 对噪声和异常值敏感
- 问题：噪声点可能扭曲整个聚类结构
- 特别是单链接法，容易形成“链条”，把不相关的类连起来
- 好比：一个社交圈里有个“交际花”，把原本不熟的群体都连起来了
4. 方法选择影响结果
- 问题：用单链接、全链接还是平均链接？结果可能差别很大
- 没有绝对“正确”的方法，需要根据数据特点选择
- 好比：评价两个家庭的关系，看最亲的人、最疏的人还是平均水平？角度不同结论不同
四、使用范围：适合解决什么问题？
适合的场景 ✅
-
数据量不大（通常几千点以内）
- 基因表达数据分析
- 文档分类（几百上千篇）
- 市场细分（客户数量有限时）
-
需要层次结构的应用
- 生物分类学（界-门-纲-目-科-属-种）
- 组织架构分析
- 产品分类体系
-
不确定聚类数量时
- 探索性数据分析
- 不知道数据应该分几类，想看看不同粒度下的结果
-
可解释性要求高
- 树状图直观，容易向非技术人员解释
- 医学诊断辅助
- 社会科学研究
不适合的场景 ❌
-
大数据集（百万级以上）
- 用户行为分析（每天产生海量数据）
- 物联网传感器数据
- 推荐系统用户聚类
-
需要快速响应的在线应用
- 实时用户画像
- 流式数据处理
-
数据形状复杂
- 环形分布的数据
- 密度差异很大的数据
- 这时候密度聚类（如DBSCAN）可能更好
-
明确知道聚类数量
- 如果明确要分k类，K-means通常更快更简单
五、应用场景：生活中的实际案例
案例1：文档主题分析（新闻归类）
场景：新闻网站每天收到上千篇文章，如何自动分类？
层次聚类的作用：
- 将每篇文章表示为词频向量
- 计算文章间的相似度（用余弦相似度）
- 进行层次聚类
- 生成主题树：
- 第一层：政治/经济/体育/娱乐…
- 第二层：政治→国内/国际；体育→足球/篮球…
- 第三层：足球→英超/西甲/中超…
价值：用户可以从粗到细浏览新闻，网站可以更好地组织内容
案例2：基因表达数据分析
场景：医学研究中，测定了1000个基因在正常和癌细胞中的表达水平
层次聚类的作用：
- 行聚类：发现功能相似的基因（可能参与同一生物过程）
- 列聚类：发现样本间的相似性（哪些样本更可能是同种癌症）
- 生成热图+树状图，直观显示：
- 哪些基因在癌症中异常活跃
- 不同癌症亚型之间的亲缘关系
价值：帮助发现新的癌症亚型，指导个性化治疗
案例3：电商产品分类
场景：电商平台有数十万商品，如何建立多级分类体系？
层次聚类的作用：
- 基于商品描述、购买记录、用户评价等计算相似度
- 自动生成分类树：
电子产品 ├── 手机通讯 │ ├── 智能手机 │ ├── 功能手机 │ └── 手机配件 ├── 电脑办公 │ ├── 笔记本 │ ├── 台式机 │ └── 外设设备 └── 数码影像 ├── 相机 ├── 摄像机 └── 摄影配件 - 可以动态调整：新商品自动归类，分类体系随市场变化
价值：改善用户体验，提高搜索和推荐准确性
案例4：城市气候分区
场景：气象部门收集了全国200个城市30年的气候数据
层次聚类的作用：
- 使用温度、降水、湿度等指标
- 将气候相似的城市聚类
- 结果可能是：
- 第一层：南方/北方
- 第二层：南方→沿海湿润区/内陆山区
- 第三层：沿海湿润区→热带/亚热带
价值：指导农业规划、建筑设计、灾害预防
案例5：社交网络社区发现
场景：分析某社交平台的用户关系，发现自然形成的社区
层次聚类的作用：
- 用户为点，互动频率为距离
- 自底向上合并：
- 最频繁互动的两人 → 紧密朋友
- 紧密朋友群合并 → 小圈子
- 小圈子合并 → 大社区
- 可能发现：游戏玩家社区、摄影爱好者群、母婴交流组等
价值：精准广告投放、社区管理、功能优化
六、Python实践案例：给鸢尾花“画家族树”
让我们用经典的鸢尾花数据集，亲手体验层次聚类：
# 导入必要的库
import numpy as np
import matplotlib.pyplot as plt
from scipy.cluster.hierarchy import dendrogram, linkage
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler
# 1. 加载数据
iris = load_iris()
X = iris.data # 花的4个特征：花萼长宽、花瓣长宽
y = iris.target # 实际种类（0:山鸢尾, 1:变色鸢尾, 2:维吉尼亚鸢尾）
feature_names = iris.feature_names
target_names = iris.target_names
print(f"数据集形状: {X.shape}") # (150, 4) 150朵花，每朵4个特征
print(f"特征名: {feature_names}")
print(f"实际类别: {target_names}")
# 2. 数据标准化（让不同特征可比）
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
# 3. 进行层次聚类（使用平均链接法）
# linkage函数计算层次聚类
# 'average'表示使用平均链接法
# 也可以尝试'single'(单链接), 'complete'(全链接), 'ward'(沃德法)
linked = linkage(X_scaled, method='average')
# 4. 绘制树状图
plt.figure(figsize=(12, 8))
dendrogram(linked,
orientation='top',
labels=[f"花{i+1}" for i in range(len(X))],
distance_sort='descending',
show_leaf_counts=True,
leaf_rotation=90) # 标签旋转90度便于阅读
plt.title('鸢尾花层次聚类树状图（平均链接法）')
plt.xlabel('鸢尾花样本编号')
plt.ylabel('聚类距离')
plt.axhline(y=2.5, color='r', linestyle='--') # 画一条切割线
plt.text(0, 2.6, '切割线：分成3类', color='red')
plt.tight_layout()
plt.show()
# 5. 从树状图中提取聚类结果（假设我们想分3类）
from scipy.cluster.hierarchy import fcluster
clusters = fcluster(linked, t=3, criterion='maxclust') # 确保分成3类
print("\n前10朵花的聚类结果:")
for i in range(10):
print(f"花{i+1}: 实际种类={target_names[y[i]]}, 聚类类别={clusters[i]}")
# 6. 评估聚类效果（与实际标签比较）
from sklearn.metrics import adjusted_rand_score
ari_score = adjusted_rand_score(y, clusters)
print(f"\n聚类与真实类别的一致性分数: {ari_score:.3f}")
print("(1.0表示完全一致，0.0表示随机分配)")
# 7. 可视化聚类结果（前两个特征）
plt.figure(figsize=(10, 6))
# 用不同颜色和形状表示实际种类
markers = ['o', 's', '^'] # 圆形、方形、三角形
colors = ['red', 'green', 'blue']
for i, target_name in enumerate(target_names):
# 找到属于该实际种类的样本
idx = (y == i)
plt.scatter(X[idx, 0], X[idx, 1],
c=colors[i], marker=markers[i],
s=100, alpha=0.6,
label=f'实际:{target_name}')
# 用黑色边框表示聚类结果
for cluster_id in np.unique(clusters):
idx = (clusters == cluster_id)
# 计算聚类的中心
center = X[idx].mean(axis=0)
plt.scatter(center[0], center[1],
s=300, marker='*',
c='black', edgecolors='yellow',
linewidths=2,
label=f'聚类中心{cluster_id}')
plt.xlabel(feature_names[0])
plt.ylabel(feature_names[1])
plt.title('鸢尾花聚类结果可视化')
plt.legend()
plt.grid(True, alpha=0.3)
plt.tight_layout()
plt.show()
# 8. 尝试不同的链接方法比较
methods = ['single', 'complete', 'average', 'ward']
plt.figure(figsize=(15, 10))
for i, method in enumerate(methods):
plt.subplot(2, 2, i+1)
linked_method = linkage(X_scaled, method=method)
dendrogram(linked_method,
orientation='top',
show_leaf_counts=False,
truncate_mode='lastp', # 只显示最后p个合并
p=20) # 显示最后20次合并
# 如果使用ward法，画两条切割线
if method == 'ward':
plt.axhline(y=10, color='r', linestyle='--', alpha=0.5)
plt.axhline(y=20, color='g', linestyle='--', alpha=0.5)
plt.text(5, 10.5, '分3类', color='red', fontsize=10)
plt.text(5, 20.5, '分2类', color='green', fontsize=10)
plt.title(f'链接方法: {method}')
plt.xlabel('样本')
plt.ylabel('距离')
plt.tight_layout()
plt.show()
print("\n不同链接方法的特点:")
print("1. 单链接(single): 容易形成链条，对噪声敏感")
print("2. 全链接(complete): 聚类紧凑，大小均匀")
print("3. 平均链接(average): 折中方案，最常用")
print("4. 沃德法(ward): 最小化类内方差，聚类大小可能不同")
代码解释与观察要点：
- 数据准备：鸢尾花有150个样本，4个特征，3个实际种类
- 标准化：不同特征量纲不同（厘米 vs. 比例），需要标准化
- 树状图解读：
- 竖线长度表示合并时的距离
- 红线是我们人为切割的位置，决定分3类
- 看看聚类结果与实际种类匹配度如何
- 不同方法比较：
- 单链接：合并顺序不同，可能形成长链
- 沃德法：通常能得到更平衡的聚类
- 实践建议：
- 尝试改变切割高度（
t参数），看看分成2类、4类的结果 - 更换链接方法，观察树状图的变化
- 思考：为什么聚类结果和实际种类不完全一致？
- 尝试改变切割高度（
七、总结：层次聚类的核心价值
层次聚类像是给数据绘制"家族谱系"的考古学家，它不预设家族有多少分支，而是通过细心的比对和合并，自然地展现数据内部的层次结构。
一句话概括
层次聚类通过自底向上合并或自顶向下分裂的方式，构建数据的多层次分组结构，以树状图直观展示"粗到细"或"细到粗"的完整分类过程。
学习重点回顾
- 两种策略：凝聚式（从叶到根） vs. 分裂式（从根到叶）
- 四种链接方法：单链接、全链接、平均链接、质心法，各有适用场景
- 核心输出：树状图——可以任意高度切割，得到不同粒度的聚类
- 优势：直观、无需预设类别数、提供完整层次信息
- 局限：计算量大、对噪声敏感、合并不可逆
给初学者的建议
如果你是第一次接触聚类算法，层次聚类是个很好的起点：
- 先用小数据集（几百个点）实践，可视化树状图
- 尝试不同链接方法，观察结果差异
- 思考：你的数据是否天然有层次结构？
- 对比其他聚类方法（如K-means），理解各自的适用场景
记住，没有"最好"的算法，只有"最合适"的算法。层次聚类的美在于它的完整性和可解释性——它不只告诉你最终分几类，还告诉你分类的整个过程，就像一本数据家族的"历史书"。
附录：层次聚类算法思维导图
mindmap
root((层次聚类))
核心概念
无监督学习
树状结构
无需预设类别数
算法类型
凝聚式(自底向上)
从单点开始
逐步合并最近类
常用方法
单链接
全链接
平均链接
质心法
分裂式(自顶向下)
从全体开始
逐步分裂
关键步骤
1. 计算距离矩阵
2. 寻找最近两类
3. 合并最近类
4. 更新距离矩阵
5. 重复至一类
输出结果
树状图
横轴:数据点
纵轴:合并距离
切割线决定聚类数
优势
可视化强
提供层次信息
无需预设K值
可解释性好
局限性
计算复杂度高:O(n³)
对噪声敏感
合并不可逆
不适合大数据
适用场景
小中型数据集
需要层次结构
探索性分析
可解释性要求高
典型应用
文档主题分析
基因表达分析
产品分类体系
社交网络社区
气候分区
实践要点
数据标准化
选择合适链接法
理解树状图
合理选择切割点
这个思维导图可以帮助你快速回顾层次聚类的核心要点。建议在学习过程中，尝试用自己的话解释每个分支的内容，这样理解会更加深刻。
更多推荐
29
0- 0
已为社区贡献133条内容
所有评论(0)