把每个实例(也就是图片)都看作一个类别，目标是学一种特征，从而让我们能把每一个图片都区分开来。

数据：包含 OCR 1.0 数据（多语言 PDF 文档、Word 数据、自然场景 OCR 数据）、OCR 2.0 数据（图表数据、化学公式数据、平面几何数据）、通用视觉数据和 10% 文本数据的混合数据集。（5）模型预训练时学到了先验，或许视觉token的效果不好，但是模型根据部分正确的表征还原了信息，需要破坏视觉输入的文字顺序等方法测试，例如图片从“我喜欢你”->“你欢欢我”（3）确实压缩了to

非书中全部内容，只是写了些自认为有收获的部分。

根据以上定义可知：交叉熵是用来衡量两个分布之间的差异的。a：投票法，f1将w1作为正类，w2、w3作为负类。最小化KL散度其实就是最小化两个分布的交叉熵。区别在于用的损失函数不同，导致模型不同。概率越大，信息量越小，熵越小，编码越短。所以最小化交叉熵就是求对数似然的最大值。而pr(y|x)是one-hot向量。取log是因为要满足自信息的可加性。当p的分布未知时，设q为概率分布。缺点：把文本中的语

非书中全部内容，只是写了些自认为有收获的部分。

表示使用空格作为分隔符data = np.reshape(np.array(m_x[0], dtype=int), [28, 28])获取一个图片的像素后变成28x28idx = np.random.permutation(np.arange(len(m_x)))获取索引后，打乱索引argsort得到排序后对应的下标，截断k个返回用下标到self.y_train中提取具体label并计数，然后ar

深度神经网络更难训练。我们提出了一个残差学习框架，以简化比以前使用的网络深度大得多的网络的训练。我们明确地将层重新表述为参考层输入的学习残差函数，而不是学习未参考的函数。我们提供了全面的经验证据，表明这些残差网络更容易优化，并且可以从相当大的深度中获得精度。在ImageNet数据集上，我们评估了深度高达152层的残差网络——比VGG网络深度8倍[41]，但仍然具有较低的复杂性。这些残差网络的集合在

非书中全部内容，只是写了些自认为有收获的部分。

其中d代表两个样本特征的欧氏距离，y为两个样本是否匹配的标签，y=1代表两个样本相似或者匹配，y=0则代表不匹配。margin为设定的阈值，这种损失函数主要是用在降维中，即本来相似的样本，在经过降维（特征提取）后，在特征空间中，两个样本仍旧相似；而原本不相似的样本，在经过降维后，在特征空间中，两个样本仍旧不相似。CondenseNet的剪枝并不是直接将这个特征删除，而是通过掩码的形式将被剪枝的特征

通过多尺度整体融合分支提取事件和图像的结构和纹理信息，并引入信噪比（Signal-to-Noise Ratio, SNR）引导的区域特征选择，以增强低SNR区域的图像。定义整个场景的分层神经表示、使用分层可微体积渲染从视频中学习该表示(为场景中的每个人定义一个3D形状和外观的隐式神经表示，这些表示在场景中是分层和交织的)引入新的可学习修饰符与类别绑定以捕获多个概念的属性，并通过分离和加强不同类别的