在介绍分位数回归之前，先重新说一下回归分析，我们之前介绍了线性回归、多项式回归、核回归等等，基本上，都是假定一个函数，然后让函数尽可能拟合训练数据，确定函数的未知参数。尽可能拟合训练数据，一般是通过最小化MSE来进行：MSE=1n∑i=1n(yi−f^(xi))2=E(y−f^(x))2MSE = \frac{1}{n} \sum_{i=1}^n (y_i - \hat f(x_i))^2 =..

上次谈tensorflow算子修改已经是几个月之前的事了，这几个月华为开源了mindspore深度学习框架，全面更新了mindstudio，不得不称赞华为确实一直在踏踏实实地做事。新的mindspore深度学习框架，从介绍上来看，它的开发体验更简单，支持云、边缘、手机的快速部署，或许就意味着如果用mindspore写模型，就能直接部署在atlas500上，不用像tensorflow那样一直改算子了

从一句代码都不会写到现在学习自然语言处理已经有一年多，虽然标题写的是深度学习的学习心得，但其实更多是这一年多的时间里，关于编程、模型等等的学习的回顾和反思。首先我本科学的是数学，不过说实话学得也不好，很多知识理论考完试就忘了，印象最深的只有实变函数，因为难得逆天，所以实际上，我的背景就是数学学得不好，编程也没怎么接触过（除了用过matlab做数学建模），这样的我却因为一些巧合去了一家企业实习做..

之前提到过，线性回归模型有三个限制：响应变量服从正态分布，响应变量和解释变量之间服从线性关系，方差不变。其实在构建一个线性模型的时候，除了上述的两个要求，我们还需要对解释变量进行具体的分析，主要有几点，首先是解释变量之间的相互作用（interaction）对结果的影响，简单来说就是模型不仅仅受因素a和因素b影响，因素a和因素b的共同作用也会对模型产生影响，这是一个方面。除此之外，还有因素的共...

self attention是注意力机制中的一种，也是transformer中的重要组成部分，本文先重新回归一下注意力机制，再做进一步介绍。正如之前说的，注意力机制的目的是根据我们的目标，去关注部分细节，而不是基于全局进行分析，所以核心就是如何基于目标确定我们要关注的部分，以及在找到这部分细节之后进一步进行分析。这里先以文本匹配作为例子进行介绍。假设我们要分析两个文本是不是重复的：Iama...