pytorch: DP and DDP

参考：《昇腾AI处理器架构与编程——深入理解CANN技术原理及应用》目录背景昇腾AI处理器总览背景为了满足当今飞速发展的深度神经网络对芯片算力的需求,华为公司于2018年推出了昇腾系列AI处理器,可以对整型数或浮点数提供强大高效的乘加计算力。由于昇腾AI处理器具有强大的算力并且在硬件体系结构上对于深度神经网络进行了特殊的优化,从而使之能以极高的效率完成目前主流深度神经网络的前向计算,因此在智能终端

本文为《深度学习入门 基于Python的理论与实现》的部分读书笔记代码以及图片均参考此书目录权重的初始值权重初始值可以设为0吗(随机生成初始值的重要性)观察权重初始值对隐藏层激活值分布的影响Xavier 初始值He初始值归一化输入(Normalizing inputs)Batch NormalizationBN层的正向传播BN层的反向传播基于计算图进行推导不借助计算图，直接推导代码实现权重的初始值

目录SqueezeNet: Squeeze and ExpandFire ModuleSqueezeNetSqueezeNet 总结MobileNet: Depthwise Separable ConvolutionShuffleNet: 通道混洗参考文献SqueezeNet: Squeeze and ExpandFire ModuleSqueezeNet 的主要模块为 Fire Module，它

pytorch: DP and DDP

本文介绍我们针对大语言模型量化的工作 IntactKV，可以作为插件有效提升 GPTQ、AWQ、QuaRot 等现有主流量化方法效果。论文作者来自清华大学、华为诺亚、中科院自动化所和香港中文大学。论文代码已经开源，欢迎大家使用！

目录References如何使用神经网络处理图的结构和特性 (需要的模块以及它们背后的思想)References零基础多图详解图神经网络（GNN/GCN）【论文精读】A Gentle Introduction to Graph Neural Networks

目录References加权平均Referencespaper: Two-Stream Convolutional Networks for Action Recognition in Videos双流网络论文逐段精读【论文精读】

本文为《深度学习入门 基于Python的理论与实现》的部分读书笔记代码以及图片均参考此书目录感知机(perceptron)是什么利用感知机实现与门，与非门以及或门利用感知机实现异或门感知机的局限性多层感知机实现异或门感知机(perceptron)是什么b 称为偏置，w1 和w2 称为权重利用感知机实现与门，与非门以及或门import numpy as npdef perceptron(x, w,

本文为《深度学习入门 基于Python的理论与实现》的部分读书笔记代码以及图片均参考此书目录权重的初始值权重初始值可以设为0吗(随机生成初始值的重要性)观察权重初始值对隐藏层激活值分布的影响Xavier 初始值He初始值归一化输入(Normalizing inputs)Batch NormalizationBN层的正向传播BN层的反向传播基于计算图进行推导不借助计算图，直接推导代码实现权重的初始值