网上用逻辑回归做分析的例子不少，但很多都是建了一个逻辑回归模型就结束了，这里将展示一个完整的分析过程，包括建模之后的分析和改进，我觉得这些过程有时候甚至比建一个模型重要，也要花费更多的时间。首先我们来看一下问题，主要是分析一个人年薪能不能达到十万和什么因素有关（wage_status），响应变量是就是能不能达到年薪十万，解释变量就是年龄、婚姻状况等等：第一步，我们可以探索一下数据，变量主要...

之前我们已经探讨了，在构建GLM模型之前，如何进行数据预处理，接下来就介绍一下正式的建模过程。首先我们要做的是进一步具体地分析我们应该选择模型的变量。第一步是对一个个变量单独建模，观察他们的p值：这个p值就是假设检验的p值，意思就是我们对模型的参数进行假设检验：H0:βj=0 H_0 : \beta _j = 0 H0​:βj​=0检验的就是变量的参数在等于0和不等于0的情况下（bet...

在介绍分位数回归之前，先重新说一下回归分析，我们之前介绍了线性回归、多项式回归、核回归等等，基本上，都是假定一个函数，然后让函数尽可能拟合训练数据，确定函数的未知参数。尽可能拟合训练数据，一般是通过最小化MSE来进行：MSE=1n∑i=1n(yi−f^(xi))2=E(y−f^(x))2MSE = \frac{1}{n} \sum_{i=1}^n (y_i - \hat f(x_i))^2 =..

之前我们已经构建了一个简单的医疗知识图谱，这次就来看看怎么利用这个知识图谱建一个简单的对话系统，构筑的流程还是参考之前的项目，以后我们再结合深度学习进行改进。上图就反映了这个对话系统的分析思路，整体上接近一个基于规则的对话系统，首先我们需要对用户输入进行分类，其实就是分析用户输入涉及到的实体及问题类型，也就是Neo4j中的node、property、relationship，然后我们利用分析出的信

目前有一种说法认为，深度学习模型在数据量较大的情况下才能取得较好的效果，当数据量较少，更偏向于使用传统的机器学习模型。想办法从深度学习的方向构建模型，使得模型在数据量较小的情况下也能取得较好效果，就是meta learning的目标。那么如何才能实现这个目标呢，从人类学习分类物体的角度来说，人类认识新的物体并不需要太多的样本，这是因为人类拥有更多的先验知识，比如现在叫一个没见过碟子的人，从一堆..

最近几周一直在看meta learning的模型，从最初的小样本学习模型开始看到最近的MAML各种改进版本，算是有了一点初步的了解，这次就主要介绍一下，什么是小样本学习，什么是元学习，以及在这个领域有哪些经典的值得学习的模型。首先是小样本学习，按照字面意思，可以理解成在样本量较少的情况下的深度学习。以前也多次提到，其实在样本量较少的时候，往往深度学习模型会过拟合，所以一般不使用深度学习的模型，而.

MAML主要就是学习一个网络的初始化参数，这个参数对梯度是敏感的，使得它在针对特定任务进行fine tuning时，只需要少数几次的训练就能达到较好的效果。一般来说，我们可以用公式表示meta learning：minimize Eτ(Lτ(Uτk(ϕ)))minimize \ E_{\tau}(L_{\tau} (U_{\tau}^k(\phi)))minimize E...

self attention是注意力机制中的一种，也是transformer中的重要组成部分，本文先重新回归一下注意力机制，再做进一步介绍。正如之前说的，注意力机制的目的是根据我们的目标，去关注部分细节，而不是基于全局进行分析，所以核心就是如何基于目标确定我们要关注的部分，以及在找到这部分细节之后进一步进行分析。这里先以文本匹配作为例子进行介绍。假设我们要分析两个文本是不是重复的：Iama...

该文章从鲁棒性扰动的角度出发，对深度学习模型的可解释性进行分析。

最近刚结束了在一家研究院的实习，实习的时候院里想开展一个深度学习的项目，恰好只有我对深度学习有一点点了解，所以就比较幸运地成为了项目的负责人。整个过程很多东西都是第一次接触，有做得好也有做不好的地方，但是不得不承认像这样自己完全负责一个项目真的学习了很多东西，我自己以前很少在网上看到深度学习的算法工程师分享他们的工作经历，所以也一直很期待能把这段时间的经历总结一下分享给大家。首先想说明的是，这个.