1 前言无论我们多么关心程序性能，在开始担心优化效果之前，我们首先需要能够工作的代码。编写清晰、直观的深度学习代码非常具有挑战性，任何实践者必须处理的第一件事就是语言语法本身。在众多的深度学习库中，每种库都有自己的编程风格。在本文中，我们将重点讨论两个最重要的高级设计决策：数学计算是采用符号范式还是命令式范式；是构建更大(更抽象)的网络，还是构建更多原子操作的网络。自始至终，我们将重...

文章翻译自：https://devblogs.nvidia.com/deepstream-video-analytics-smart-cities/想象一下每个父母最糟糕的噩梦：一个孩子在一个拥挤的购物中心迷路了。现在想象一下这样一个场景：使用部署在建筑物内的摄像机网络在几分钟内找到并救出该孩子 - 并且实时记录，检索和分析所有视频。这仅代表视频分析领域提供的众多可能性之一。传统视频分析使用基..

1 简介梯度下降算法是最常用的神经网络优化算法。常见的深度学习库也都包含了多种算法进行梯度下降的优化。但是，一般情况下，大家都是把梯度下降系列算法当作是一个用于进行优化的黑盒子，不了解它们的优势和劣势。本文旨在帮助读者构建各种优化算法的直观理解，以帮助你在训练神经网络的过程中更好的使用它们。本文第二部分先简单叙述了常见的梯度下降优化算法；第三部分叙述了神经网络训练过程中存在的挑战；第四部分，我..

在过去的十年中，深度学习的一个持续的趋势是向更深更大的网络发展。尽管硬件性能迅速提高，但先进的深度学习模型仍在不断挑战GPU RAM的极限。因此，即使在今天，人们仍然希望找到一种方法来训练更大的模型，同时消耗更少的内存。这样做可以让我们更快地进行训练，使用更大的批处理大小，从而实现更高的GPU利用率。在本文中，我们探讨了为深度神经网络优化内存分配的技术。我们讨论了几个备选解决方案。虽然我们的建议.

论文：https://arxiv.org/abs/1510.00149

转载自：https://blog.csdn.net/qq_41994006/article/details/81051150基本概念P-R曲线中，P为图中precision，即精准度，R为图中recall，即召回率。Example下面通过具体例子说明。首先用训练好的模型得到所有测试样本的confidence  score，每一类（如car...

论文：FaceNet: A Unified Embedding for Face Recognition and Clustering0 摘要FaceNet，直接把输入图像变成欧式空间中的特征向量，两个特征向量间的欧式距离就可以用来衡量两者之间的相似度。可以用在人脸验证、识别和聚类任务中。本文提出了三元组的概念，构建anchor - matching sample -unmatching s...

论文：https://arxiv.org/abs/1705.07115v31 问题引出多任务联合学习可以提升各任务的学习效果，因为多任务可以共享数据集、共享低层特征。但多任务联合学习时，该如何对各子任务的损失函数进行加权才能取得最优的训练效果，这是本文所关心的问题。本文中作者提出的多任务如下图所示：对各任务的损失确定加权系数wiw_iwi​可以有多种方式，把这些系数作为超参数进行调试的代价...

论文地址：https://arxiv.org/abs/1611.06440v2英伟达出品的模型剪枝论文，NVIDIA Transfer Learning Toolkit就是基于这篇论文进行实现的？0 摘要我们提出了一种新的对神经网络中卷积核进行剪枝的算法以实现高效推理。我们将基于贪婪标准的修剪与通过反向传播的微调交错 - 实现了一种高效的的过程，在修剪后的网络中保持了良好的泛化能力。我们提出...

论文：https://arxiv.org/abs/1709.05424代码：https://github.com/idealo/image-quality-assessment摘要由于图像质量评估在各种应用中的有用性，例如评估图像捕获管道、存储技术和共享媒体，因此最近自动学习的图像质量评估已成为热门话题。尽管这个问题存在主观性质，但大多数现有方法仅预测由AVA [1]和TID2013 [2]...