学习矢量量化(Learning Vector Quantization)，简称LVQ，于1988年由Kohonen提出的一类用于模式分类的有监督学习算法，是一种结构简单、功能强大的有监督式神经网络分类方法。典型的学习矢量量化算法有LVQ1、LVQ2和LVQ3，其中前两种算法应用较为广泛，尤以LVQ2的应用最为广泛和有效。已经成功应用到统计学、模式识别、机器学习等多个领域。

1、简介：

学习矢量量化是一种结构简单、功能强大的有监督式神经网络分类方法。该算法自1988年由Kohonen提出以来，己经成功应用到统计学、模式识别、机器学习等多个领域。作为一种最近邻原型分类器，LVQ在训练过程中通过对神经元权向量(原型)的不断更新，对其学习率的不断调整，能够使不同类别权向量之间的边界逐步收敛至贝叶斯分类边界。算法中，对获胜神经元(最近邻权向量)的选取是通过计算输入样本和权向量之间欧氏距离的大小来判断的。[1] 与矢量量化(VQ)相比， LVQ 最突出的优点是其具有自适应性，它可以通过在线学习的方式获得训练样本的码本。

2、分类：

根据训练样本是否有监督，LVQ 可分为两种：一种是有监督学习矢量量化，如 LVQ1、LVQ2.1 和 LVQ3，它是对有类别属性的样本进行聚类；另一种是无监督学习矢量量化，如序贯硬 C-均值，它是对无类别属性的样本进行聚类。

3、结构：

图 1 描述了 LVQ 神经网络模型，输入层是直接连接到输出层，在输出层的每个节点有一个权值向量( 码本) 同它连接( 见图 1)，学习的目的就是寻找权值即码本 的最优值。

4、LVQ算法：

LVQ算法是一种有监督的自组织神经网络算法，是无监督的自组织神经网络算法(SOMF)的扩展，其基本思想是利用少量权向量来表示数据的拓扑结构。与无监督的自组织神经网络算法相比，由于在权向量更新过程中引入了监督信号，LVQ算法在模式识别领域具有更广泛的应用。

4.1 LVQ1：

LVQ训练过程的具体步骤如下：

（1）对于一个N维的输入样本，初始化权向量w及学习率 ，并给定最大迭代次数T。

（2）判断是否满足迭代停止条件：是，则停止迭代；否，则继续以下步骤。

（3）寻找输入样本

的最近邻

，满足：

通常选用欧氏距离的平方，其计算公式为：

（4）对获胜神经元的权向量 进行更新：

其中，t 为迭代的次数，

表示输入样本与获胜神经元同类，

表示输入样本与获胜神经元异类。

（5）返回步骤（2）。

4.2 LVQ2.1

每一次迭代过程只能对一个权向量进行更新，这是LVQ1算法的一个局限。因此，在改进的LVQ2.1算法中，提出同时更新两个权向量的方法。寻找输入样本最近邻的两个权向量，若这两个权向量一个与输入样本同类

，而另一个与输入样本异类

，同时更新两个权向量：(式1)

尽管 TVQ2.1可以同时更新两个权向量，较TVQ1性能优越，但是仍然存在着不足之处：

（1）在训练过程中与输入样本异类的权向量可能不收敛。虽然(式1)同时调整输入样本最邻近的两个权向量( 一个与输入样本同类，一个与输入样本异类) ，使他们之间的边界向最优贝叶斯边界靠近，但是算法又对异类权向量一直进行远离输入样本的调整，却没有考虑其最终的位置，这样会导致该权向量的不收敛.

（2）LVQ算法未体现出数据各维属性在分类过程中重要程度的不同，这一问题的原因要归咎于欧氏距离的计算公式。 欧氏距离计算公式是基于数据各维属性重要程度相同这样一种假设，然而，这种假设忽视了这样一个事实，即数据各维属性对分类所做"贡献”的程度可能会不同。换句话说，对于某一输入样本而言，它的全部属性中的一部分可能对分类是非常重要的，是重要属性；相反，其它的属性对分类的作用可能是次要的，甚至会干扰正确的分类，是次要属性。对这种情况而言，用欧氏距离进行分类显然不够准确，而且实际数据大部分都属于这种情况。因此，如何发现并强调这些重要属性同时忽略那些次要属性成为能否准确对数据进行分类的关键。

5、LVQ的不足

虽然传统LVQ算法性能优越且应用广泛，但是仍存在着一些不足：

1)训练过程中权向量可能不收敛。原因是由于在寻找最优贝叶斯边界时，对权向量更新的趋势没有给予充分的考虑

2)对输入样本各维属性的信息利用不充分，没有体现出各维属性在分类过程中重要程度的不同。原因是由于在寻找获胜神经元过程中采用的欧氏距离度量方法，没有考虑到输入样本各维属性重要度差异，即假定各维属性对分类的“贡献”是相同的。