基于树结构的机器学习模型在深度学习被广泛应用之前，基于树形结构的机器学习模型，比如说决策树，随机森林，GBDT，Xgboost等等被广泛的应用到分类等常见场景中，下面总结一下常见一个一些树形结构的机器学习模型。1：决策树常见的决策树算法有ID3，C4.5，CART(classification and regression tree)等等。由于存在很多好的文章已经详细的介绍了这些算法，...

Q-learning算法    以前在阿里云上面搭了一个wordpress博客，最近快毕业了，阿里云真的很贵，所以转到CSDN上写博客，主要是为了方便以后查询。    Q-learning算法是强化学习的一种算法，强化学习目前主要应用到游戏中，主要是目的是训练一个知道怎么做才能得到高分的model。强化学习的介绍很多，李宏毅在https://www.youtube.com/watch?v=...

矩阵导数(Matrix Differentia)常见的偏导，导数形式都是标量形式的，比如说方程y=2x+10，那么y关于x的导数dy/dx=2，但是对于一般情况下，方程组Y=AX等情况来说，X,Y都有可能是向量或者矩阵的形式，这个时候怎么求dY/dX呢？矩阵求导主要分为以下一些情况：1：x∈,y∈，y=Ψ(x)对于y,x都是向量的情况下，dy/dx的形式如下，是一个m*n的矩...

跨模态检索评价指标(evaluations of cross-modal retrieval)1：背景跨模态检索在实际生活中有着广泛的应用，比如说输入一段话，希望找到对应的图片，再比如说根据一段语音得到与描述大致相同的图像，这些都是跨模态(modality, 如文本，图像，语音等等）检索的例子，本文主要介绍跨模态检索的评价指标，对基本的跨模态检索概念不清楚的话，请首先查阅资料。最近面试...

t-SNE简介         t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法，是由 Laurens van der Maaten 和 Geoffrey Hinton在08年提出来。此外，t-SNE 是一种非线性降维算法，非常适用于高维数据降维到2维或者3维，进行可视化。         t-SNE是由S...

反向传播(back propagation)算法详解反向传播算法是神经网络的基础之一，该算法主要用于根据损失函数来对网络参数进行优化，下面主要根据李宏毅机器学习课程来整理反向传播算法，原版视频在https://www.bilibili.com/video/av10590361/?p=14.首先，我们来看一看优化方程：上面的损失函数是普通的交叉熵损失函数，然后加上了正则化项，为了更新...

遗传算法总结遗传算法是一种最优化算法，或者说遗传算法可以应用于求解搜索问题或者最优化问题。百度对遗传算法的定义为：遗传算法（Genetic Algorithm）是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法遗传算法在工业界有着比较广泛的应用。我也是实习的时候才真正用到遗传算法，下面是我的一些总结。1：传统优化算法遗传算法...

从零开始NLP最近打算学习一下NLP，在这里记录一下看到的知识。1：N-gramn-gram是一种语言模型，作用就是为一句给定的单词的序列返回一个概率，表示这个序列出现的概率值。常见的有unigram，bigram，trigram等等。n个单词的句子出现的概率：unigram，假设单词之间相互独立，那么可以表示为：unigram是不可取的，因为‘i have a ...