2018年10月华为hc大会  华为的全栈方案具体包括：  1）Ascend： 基于统一、可扩展架构的系列化AI IP 和 芯片，包括Max，Mini，Lite，Tiny和Nano等五个系列。包括我们今天发布的华为昇腾910（Ascend 910），是目前全球已发布的单芯片计算密度最大的AI芯片，还有Ascend 310，是目前面向边缘计算场景最强算力的AI SoC。  2）CANN：...

1D/2D/3D卷积简介  他们处理的都是input tensor前几个维度的信息。  1）1D主要用于NLP中的N_gram，一维卷积又称时域卷积。  2）2D和3D卷积用于图像。其中2D卷积处理的是一张图像，3D卷积处理的就是多张图像。3D卷积考虑时间维度的信息。  参考资料：  https://github.com/vdumoulin/conv_arithmetic...

非对称卷积（googlenet v3）  1）先进行 n×1 卷积再进行 1×n 卷积，与直接进行 n×n 卷积的结果是等价的。  2）非对称卷积能够降低运算量，这个很好理解吧，原来是 n×n 次乘法，改了以后，变成了 2×n 次乘法了，n越大，运算量减少的越多。  3）虽然可以降低运算量，但这种方法不是哪儿都适用的，非对称卷积在图片大小介于12×12到20×20大小之间的时候，效果比较好，...

深度强化学习的泡沫太大  DRL 的可复现性危机。由于发表的文献中往往不提供重要参数设置和工程解决方案的细节, 很多算法都难以复现。有人评论到,“DRL 的成功可能不是因为其真的有效,而是因为人们花了大力气。”  目前普遍的观点是,DRL 可能有 AI 领域最大的泡沫。DRL 的成功归因于它是机器学习界中唯一一种允许在测试集上训练的方法。...

sigmiod与softmax  sigmiod就是逻辑回归（解决二分类问题）；softmax是多分类问题的逻辑回归  虽然逻辑回归能够用于分类，不过其本质还是线性回归。它仅在线性回归的基础上，在特征到结果的映射中加入了一层sigmoid函数（非线性）映射，即先把特征线性求和，然后使用sigmoid函数来预测。sigmoid函数  当sigmoid函数作为神经元的激活函数时，有两种较好的...

反卷积(deconvolution)  这个概念很混乱，没有统一的定义，在不同的地方出现，意义却不一样。  上采样的卷积层有很多名字：全卷积（full convolution），网络内上采样（ in-network upsampling），微步幅卷积（fractionally-strided convolution），反向卷积（backwards convolution），去卷积（...

teacher-student网络,蒸馏(distillation)网络  属于迁移学习的一种。迁移学习也就是将一个模型的性能迁移到另一个模型上，对于教师——学生网络，教师网络往往是一个更加复杂的网络，具有非常好的性能和泛化能力，可以用这个网络来作为一个soft target来指导另外一个更加简单的学生网络来学习，使得更加简单、参数运算量更少的学生模型也能够具有和教师网络相近的性能，也算是一种..

CNN  在普通的全连接网络或CNN中，每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被成为前向神经网络(Feed-forward Neural Networks)。  后来查到CNN是受语音信号处理中时延神经网络（TDNN）影响而发明的，TDNN通过在时间维度上共享权值，方便学习。CNN的有三个重要的思想架构  1）局部区域感知;  2）权重共享;  3）空间或时...

深度神经网络可以分为3类：  1）前馈深度网络(feed-forwarddeep networks, FFDN)  2）反馈深度网络(feed-back deep networks, FBDN)  3）双向深度网络(bi-directionaldeep networks, BDDN)双向深度网络(bi-directionaldeep networks, BDDN)  结构上：双向网络的结...

数据分析数据分析的流程1）问题定义2）数据获取3）数据预处理4）数据分析与建模5）数据可视化及数据报告的撰写”数据分析的方法1.贡献度分析　　贡献度分析又称帕累托分析，它的原理是帕累托法则又称2/8定律。即累积效应达80%的前几个因素。2.统计量分析　　用统计指标对定量数据进行统计描述，常从集中趋势和离中趋势两个方面进行分析。1） 集...