文章目录文本表达：从BERT-flow到BERT-whitening、SimCSE1、BERT-flowBERT表示存在的问题BERT-flow2、BERT-whitening向量的内积标准正交基方差与协方差whitening3、SimCSE文本表达：从BERT-flow到BERT-whitening、SimCSESentence Embeddings：即能表征句子语义的特征向量，获取这种特征向量

一、霍夫变换本文主要介绍霍夫变换检测直线和圆的原理。霍夫变换是图像处理中从图像中识别几何形状的基本方法之一，应用很广泛，也有很多改进算法。主要用来从图像中分离出具有某种相同特征的集合图像（如，直线，圆等）。最基本的霍夫变换是从黑白图像中检测直线（线段）。1、直线检测1.1 直线的表示方式对于平面中的一条直线，在笛卡尔坐标系中，常见的有两点式，点斜式表示方式。然而在Hough变换中，考虑的是另外一种

六、聚类算法0、概述0.1 无监督学习与聚类算法在之前的五篇文章中，我们学习了决策树，逻辑回归，随机森林，它们虽然有着不同的功能，但却都属于“有监督学习”的一部分，即是说，模型在训练的时候，即需要特征矩阵X，也需要真实标签y。机器学习当中，还有相当一部分算法属于“无监督学习“。无监督的算法在训练的时候只需要特征矩阵X，不需要标签。我们曾经学过的PCA降维算法就是无监督学习中的一种，聚类算法，也是无

Transformer结构详解1.ransformer整体结构2.Transformer的输入2.1单词Embedding2.2 位置Embedding3.self-attention（自注意机制）3.1 self-attention结构3.2 Q，K，V的计算3.3self-atttention的输出3.4 Multi-Head Attention4.Encoder的结构4.1 Add &amp

二、随机森林0、概述0.1集成算法概述集成学习是时下非常流行的机器学习算法，它本身不是一个单独的机器学习模型，而是在以往的数据上构建多个模型，集成所有模型的建模结果，基本上所有机器学习领域都可以看到集成学习的身影，在显示中集成学习也有相当大的作用，它可以用来做市场营销模拟的建模，统计客户俩元，保留和损失，也可以用来预测疾病的风险和患病者的易感性。在现在的各种算法竞赛中，随机森林，梯度提升树，XGB

二、随机森林0、概述0.1集成算法概述集成学习是时下非常流行的机器学习算法，它本身不是一个单独的机器学习模型，而是在以往的数据上构建多个模型，集成所有模型的建模结果，基本上所有机器学习领域都可以看到集成学习的身影，在显示中集成学习也有相当大的作用，它可以用来做市场营销模拟的建模，统计客户俩元，保留和损失，也可以用来预测疾病的风险和患病者的易感性。在现在的各种算法竞赛中，随机森林，梯度提升树，XGB