最大似然估计又称极大似然估计，是一种利用给定样本观测值来评估模型参数的方法，其基本原理为：利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值。(2) 上述的一般步骤对含有多个未知参数的情形同样适用，只需将求导数变为求偏导数；(3) 判断并求出最大值点，用样本值代入就是参数的最大似然估计值。的所有可能取值范围（称为参数空间），则对于给定的样本观测值。的所有可能取值范围

GLOM架构的提出：在最新的研究中，Hinton提出了GLOM架构，这是一种可以在神经网络中使用胶囊来表示视觉层次结构的新方法。胶囊网络是一种全新的神经网络结构，旨在通过封装和组合多个低层次的特征来形成高层次的特征，从而提高模型的表达能力和鲁棒性。深度学习概念的提出：Hinton等人在2006年提出了深度学习的概念，并基于深度置信网络（DBN）提出了非监督贪心逐层训练算法，为解决深层结构相关的优化

设总损失函数Jw为数据集中N个独立样本的损失函数Li​w之和，即Jwi1∑N​Li​w。若每个样本的损失函数Li​w关于模型参数w均可导，则总损失函数Jw关于参数w的导数（或梯度），等于各个样本损失函数Li​w关于参数w的导数（或梯度）之和。

二元交叉熵损失函数（Binary Cross-Entropy Loss）是二分类问题中常用的损失函数，用于衡量模型预测概率与真实标签之间的差异。它通常与Sigmoid激活函数结合使用，确保预测概率在[0, 1]之间。对于单个样本，损失函数公式为 ( L(y, \hat{y}) = -\left[ y \log(\hat{y}) + (1 - y) \log(1 - \hat{y}) \right]

进行），这只需要加法和乘法。然而，它不是内存高效的；前向传递中的中间值必须全部存储，这可能会限制可以训练的模型的大小。来源于https://udlbook.github.io/udlbook/，我不明白初始不从。为批次中的每个训练样本计算这些导数，并将它们相加以获取用于 SGD 更新的梯度。前向和反向传递中最耗计算的步骤是矩阵乘法（分别由。个隐藏层和 ReLU 激活函数，并且有单独的损失项。大于零

由于模式识别过于深奥，也不知道当初这个名称谁起的，英文本身就不知所云，中文翻译更不知所云。到现在pattern一词的定义都有争议，没有统一的定义。机器学习，如同计算机视觉（最初叫机器视觉，很难听，后来改成了计算机视觉），更容易被广大接受，尤其是外行和半路出家的。今年很勉强做了一个很简易的课件，这样难度的课没有一本能讲清楚的教材真是费劲。找不到这样的教材，所以只能自己写了。但是我也并不认可统计学习部

表达方式LaTeX 写法显示效果正式程度常见领域^\topA^\topA⊤A^\topA⊤⭐⭐⭐⭐☆ 高数学、统计、理论学科ATAT⭐⭐⭐☆☆ 中工程、机器学习、应用类。

所有数据集的文件名均为 name_dataset 格式。这些文件中将包含数组 nameInputs 和 nameTargets。

将 70% 的图像用于训练，15% 的图像用于验证，15% 的图像用于测试。指定 “randomized” 以将每个类中指定比例的文件分配给新数据集。splitEachLabel 函数将图像数据存储拆分为三个新数据存储。数据集有 10 个类，数据集中每个图像的像素数为 28×28×1。此示例说明如何使用深度网络设计器创建简单的卷积神经网络来进行深度学习分类。使用 minibatchpredict

深度学习基础与概念》（Deep Learning Foundations and Concepts），英国作者克里斯托弗·M. 毕晓普（Christopher M. Bishop）和休·毕晓普（Hugh Bishop）。有的书图画的很漂亮，但是理论上弱；有的书一堆公式，云里雾里，抽象难以理解；有的书文字功底很差，不说人话；有的书西一榔头东一棒，完全没有逻辑；有的书有文字表达能力，数学功底很差，错误