知识蒸馏的算法理论，就是将庞大的教师模型的重要的东西让学生模型来逼近和训练，让参数量少的学生模型能够和教师模型的效果差不多，或者比老师模型效果更好。

1)先将本地分支代码更新到最新git pull2)在gerrit页面把提交的代码DOWNLOAD下来，可复制Cherry Pick的地址git fetch "*****"3)查看冲突的文件，手动解决冲突git status4)重新pushgit addgit commit --amendgit push origin HEAD:refs/for/分支名最后可以把gerrit上之前冲突的提交aban

W：输入特征图的宽，H：输入特征图的高，K：卷积核宽和高，Ppadding（需要填充的0的个数），N：卷积核的个数，S：步长width_out：卷积后输出特征图的的宽，height_out：卷积后输出特征图的高。

在服务器添加完公钥之后，ssh服务器然后报错sign_and_send_pubkey: signing failed: agent refused operation执行以下命令即可eval "$(ssh-agent -s)"ssh-add

知识蒸馏的算法理论，就是将庞大的教师模型的重要的东西让学生模型来逼近和训练，让参数量少的学生模型能够和教师模型的效果差不多，或者比老师模型效果更好。

迁移学习是当前深度学习领域的⼀系列通⽤的解决⽅案，⽽不是⼀个具体的算法模型。我们使用模型在特定任务上收集的知识来解决不同但相关的任务。模型可以从上一个任务中学到的东西中获益，从而更快地学习新任务。迁移学习方法大致可以分为三类：（1）基于样本的迁移学习方法从源域数据集中筛选出部分数据，使得筛选出的部分数据与目标数据概率分布近似 。（2）基于特征的迁移学习方法将源域与目标域样本映射到可再生和希尔特空间

简介模型剪枝就是根据神经元的贡献程度对网络中的神经元进行排名，可以从网络中移除排名较低的神经元，从而形成一个更小、更快的网络模型。基本思想示意图：模型剪枝根据神经元权重的L1/L2范数来进行排序。剪枝后，准确率会下降，网络通常是训练-剪枝-训练-剪枝（trained-pruned-trained-pruned）迭代恢复的。如果我们一次剪枝太多，网络可能会被破坏得无法恢复。所以在实践中，这是一个迭代

神经网络特意用随机性来保证，能通过有效学习得到问题的近似函数。采用随机性的原因是：用它的机器学习算法，要比不用它的效果更好。在神经网络中，最常见的随机性包含以下几个地方：初始化的随机性，比如权值正则化的随机性，比如dropout层的随机性，比如词嵌入最优化的随机性，比如随机优化

子模块是独立的 Git 仓库，所以在父仓库和子仓库中都可以进行独立的操作。当你在父仓库中提交子模块的引用时，其他人在克隆父仓库后需要运行特定命令来获取子模块的内容。在父仓库中，你需要提交子模块的引用（SHA 值）到父仓库，这样其他人克隆父仓库时可以获得正确的子模块内容。

神经网络特意用随机性来保证，能通过有效学习得到问题的近似函数。采用随机性的原因是：用它的机器学习算法，要比不用它的效果更好。在神经网络中，最常见的随机性包含以下几个地方：初始化的随机性，比如权值正则化的随机性，比如dropout层的随机性，比如词嵌入最优化的随机性，比如随机优化