卷积是一种数学运算，记为f,g的卷积连续的定义为离散的定义为从定义式中可发现卷积的要点：（1）卷积的入参为n；（2）2个函数遍历所有可能的入参，求乘积后求和；（3）在此过程中保证2个函数的入参之和为n。单纯看计算公式不算复杂，但让人疑惑为什么设计成这种形式？下面我们举一些例子加深理解。

笔者工作中需要使用多种信创数据库，在使用过程中发现一些问题，现记录如下。

卷积核是3*3的形式，输入图像是4*4的形式，步长为1，则可以将卷积操作转换为矩阵操作，其中卷积核转变成了一个4*16的稀疏矩阵（稀疏是指其中很多元素是0），将输入图像展开成一列形式16*1，得到输出图像reshape成4*1的形式。卷积和反卷积里都有stride和padding参数，但是同一个参数在卷积和反卷积里的作用不一样，非常容易使人困惑，本文试图理清他们的关系，并用实际数值例子演示计算过程

请注意，计算y对x的梯度时，如果y、x都是矩阵，梯度理应是每一个y对每一个x求偏导的结果。但在Tensorflow中，gradient是返回了总和的梯度。如果想求出每个分量的梯度，应该使用Jacobian矩阵。这一点困扰了笔者很久，直到翻到文档才恍然大悟。

Logistic回归（逻辑回归）是基础的分类模型，将输出限定在0-1之间，表示分类的概率。在分类时，可设定阈值为0.5，概率超过0.5表示正例，小于0.5表示负例。应用场景包括医学检测（是否患病，肿瘤良性恶性）、金融（信用卡违约）、市场营销（客户是否流失）等。

算法步骤和Python实现

Token是语言模型中常见的概念，中文可称为“词元”，是文本处理的基本单元。第一，方便识别词与词之间的相对位置关系，因为第i个词与第i+k个词之间是有规律的，基于正弦和余弦定理，sin(i+k)=sin(i)cos(k)+cos(i)sin(k), cos(i+k)=cos(i)cos(k)-sin(i)sin(k)，因此，两个前后间隔k个位置的编码是有线性规律的，这就像是编码阶段预留的“彩蛋”，

Logistic回归（逻辑回归）是基础的分类模型，将输出限定在0-1之间，表示分类的概率。在分类时，可设定阈值为0.5，概率超过0.5表示正例，小于0.5表示负例。应用场景包括医学检测（是否患病，肿瘤良性恶性）、金融（信用卡违约）、市场营销（客户是否流失）等。

广度优先是一种树的遍历方式，和深度优先是相对的。广度优先是指先将目标格子的所有邻居塞入队列，而如果是深度优先，做法则是找到目标格子的一个邻居，然后继续找这个邻居的邻居，“一条道走到底”。举个形象的例子，如果老师需要遍历全班的同学到办公室一个一个谈话，那么老师先叫其中一名同学到办公室谈话，结束后让他回教室叫上前后左右位置的同学来办公室排队，每位同学都如此操作，已谈过的不必再谈，就实现了全班的遍历。上

VAE(Variational AutoEncoder)变分自编码器是在AE的基础上发展而来的。整体网络结构、训练过程与AE很相似。