1 LSTM复习机器学习笔记 RNN初探 & LSTM_UQI-LIUWJ的博客-CSDN博客中，我们使用的是这样的一张图来说明LSTM：这里为了和GRU有一个比较，使用如下的图表示LSTM，意思是一样的，绿色和紫色的部分是二者的对照关系：2 GRU 原理在GRU模型中只有两个门：分别是更新门zt和重置门rt更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时

插值（interpolation）平滑 （smoothing）注：这一小节的上下标和之后卡尔曼滤波的部分会有一定的差异离散卡尔曼滤波器用于估计离散时间过程的状态变量 （小车的方向，速度等）这个离散时间过程由以下离散随机差分方程描述：定义观测变量 （小车的位置），我们有：记先验和后验估计的误差为 于是先验和后验估计的协方差矩阵为我们接下来推导测量状态方程的顺序是：如果 先验协方差估计趋近于0——>趋

最后把【1，2】和【3，4，5】合并，层次聚类结束。这里我们假设使用single linkage。合并之【1，2】【3，5】【4】这里的距离就是两个学生成绩的差。接下来最近的是【3】和【5】然后聚类【3，5】和【4】

模型的效果不是随着模型参数量变多而慢慢变好，而是在某一个瞬间，模型“顿悟”了这边举的一个例子是，比如让模型回答鸡兔同笼问题。

1 回顾： 使用RNN的Seq2Seqencoder最后的输出，我们生成两个向量，初始的decoder状态s0和文本向量c。然后进行decoder操作但是问题在于，如果输入的sequence很长的话，可能我们fixed的文本向量c不够灵活。毕竟输出不用看所有输入，只需要看相关的输入即可2 seq2seq 使用RNN和attention模块于是我们在seq2seq模型中添加attention模块首先

前言：模糊层次聚类是参考了论文“A Spatial-Temporal Decomposition Based Deep Neural Network for TimeSeries Forecasting”中的preliminary部分，我不确定我理解的是否正确，如有不妥之处，还望赐教1 模糊聚类1.1 如何理解“模糊”假设有两个集合分别是A、B，有一成员a，传统的分类算法得到的结果中，a要么属于A

线性判别分析可用于处理二分类问题，其过程是寻找一个最佳的投影方向，使得样本点在该方向上的投影符合类内小、类间大的思想（“低耦合，高内聚”），具体指的是类内的方差之和小，类间的均值之差大。1 、数据2 目标函数2.1 均值&方差——>这个是两个类放到一块的数据集的均值和方差2.2 目标函数定义目标函数2.2.1 分子分子是类间均值的距离（中心点之间的距离），越大表示类“分得越快”...

早期做instruction tuning的workin-context learning都是没有finetune过程，这里相当于finetune了一下在in-context learning的时候，故意给一些错误的例子、其他领域的返利，看看大模型的效果——>这篇论文的结论是，in-context learning只起到“唤醒”的作用，LLM本身就具备了所需要的功能。这里给LLM范例的作用只是提示

1 激活函数综述激活函数：对输入信号进行线性/非线性变换2为什么激活函数要是非线性函数如果不用激活函数，在这种情况下你每一层节点的输入都是上层输出的线性函数，很容易验证，无论你神经网络 有多少层，输出都是输入的线性组合，与没有隐藏层效果相当。那么网络的逼近能力就相当有限。正因为上面的原因，我们决定引入非线性函数作为激活函 数，这样深层神经网络表达能力就更加强大（不再是输入的线性组合，而是几乎可以逼

包含bias的话，参数量就是(2D+1)*4D+(4D+1)*D。