1 前言无论我们多么关心程序性能，在开始担心优化效果之前，我们首先需要能够工作的代码。编写清晰、直观的深度学习代码非常具有挑战性，任何实践者必须处理的第一件事就是语言语法本身。在众多的深度学习库中，每种库都有自己的编程风格。在本文中，我们将重点讨论两个最重要的高级设计决策：数学计算是采用符号范式还是命令式范式；是构建更大(更抽象)的网络，还是构建更多原子操作的网络。自始至终，我们将重...

我们总是希望深度学习库运行得更快，能够扩展到更大的数据集。一种自然的方法是，看看我们是否可以从向这个问题投入更多硬件中获益，就像同时使用多个gpu。然后，库设计人员会问:如何跨设备并行计算?更重要的是，我们如何在引入多线程时同步计算?运行时依赖引擎是这些问题的通用解决方案。在本文中，我们研究了使用运行时依赖调度来加速深度学习的方法。我们的目的是解释运行时依赖调度如何既能加速又能简化多设备深度学..

文章翻译自：https://devblogs.nvidia.com/deepstream-video-analytics-smart-cities/想象一下每个父母最糟糕的噩梦：一个孩子在一个拥挤的购物中心迷路了。现在想象一下这样一个场景：使用部署在建筑物内的摄像机网络在几分钟内找到并救出该孩子 - 并且实时记录，检索和分析所有视频。这仅代表视频分析领域提供的众多可能性之一。传统视频分析使用基..

1 简介梯度下降算法是最常用的神经网络优化算法。常见的深度学习库也都包含了多种算法进行梯度下降的优化。但是，一般情况下，大家都是把梯度下降系列算法当作是一个用于进行优化的黑盒子，不了解它们的优势和劣势。本文旨在帮助读者构建各种优化算法的直观理解，以帮助你在训练神经网络的过程中更好的使用它们。本文第二部分先简单叙述了常见的梯度下降优化算法；第三部分叙述了神经网络训练过程中存在的挑战；第四部分，我..

在过去的十年中，深度学习的一个持续的趋势是向更深更大的网络发展。尽管硬件性能迅速提高，但先进的深度学习模型仍在不断挑战GPU RAM的极限。因此，即使在今天，人们仍然希望找到一种方法来训练更大的模型，同时消耗更少的内存。这样做可以让我们更快地进行训练，使用更大的批处理大小，从而实现更高的GPU利用率。在本文中，我们探讨了为深度神经网络优化内存分配的技术。我们讨论了几个备选解决方案。虽然我们的建议.

论文：https://arxiv.org/abs/1510.00149

论文：https://arxiv.org/abs/1510.00149

论文：https://arxiv.org/abs/1506.02626

docker容器内部支持中文在Dockerfile中添加：RUN apt-get install -y locales && rm -rf /var/lib/apt/lists/*&& localedef -i zh_CN -c -f UTF-8 -A /usr/share/locale/locale.alias zh_CN.UTF-8ENV LANG z...

损失名称数学公式是否权重归一化是否特征归一化分类边界文章链接softmaxL=−1m∑i=1mlog⁡eWyiTxi+byi∑j=1neWjTxi+bjL = -\frac{1}{m}\sum_{i=1}^m\log\frac{e^{W_{y_i}^Tx_i+b_{y_i}}}{\sum_{j=1}^ne^{W_j^Tx_i+b_j}}L=−m1​∑i=1m​log∑...