本文介绍了开源项目DelfNet，这是一个探索深度自组织神经网络架构的研究。项目针对当前DNN存在的训练效率低、结构深度冗余、缺乏时间维度建模等问题，提出通过簇级结构和Delta Weight增量机制实现参数联动更新。该方案保持参数量不变，同时可能实现参数压缩和在线生成，缓解带宽瓶颈。欢迎合作者共同推进模型实现、训练优化等研究方向，并计划分阶段验证参数约束、稀疏压缩等假设。项目完全开源，欢迎讨论和

matlab绘图的时候只用plot函数出来的图不一定符合自己最想要的格式， 经常要对坐标的数字、范围、间隔做处理。虽然不是什么很难的操作，但是确实常用，也容易忘记，所以就放在这里说明一下：  x = (1:50);y = sin(x);plot(x,y,'-r

参考资料https://blog.csdn.net/batuwuhanpei/article/details/51979831https://blog.csdn.net/u011722133/article/details/53518134无约束优化方法(梯度法-牛顿法-BFGS- L-BFGS）优化算法——拟牛顿法之DFP算法牛顿法与拟牛顿法牛顿法，拟牛顿法， 共轭梯度法...

坐标图上有各种数字和文字，因为图的大小关系，经常会需要去调节字体的大小，这里简单列举一下，以后想到了再补充~  通用方法：在绘制完成的图里面，点上面的edit plot，之后点你需要改的地方的右键，如果需要比较复杂的修改就双击图片，之后再找需要改的地方。 设置

本篇文章记录一下最近发表的两个比较类似的无监督representation learning工作：- SimCLR——Hinton组的工作，第一作者Ting Chen- MoCo v2——He Kaiming组的工作，第一作者Xinlei Chen

开写之前先推荐一个林轩田先生的书，《Learning From Data》，我从网上得到电子版资源放在这里获取，仅用于学习交流之用，不可用与商用，谢谢。网上还有配套的Slides，我虽然还未看过这本书，但是浏览了一下非常不错，mark一下，希望后面有时间可以静下心来学习一下。直观理解本章记录一下霍夫丁不等式 Hoeffding Inequality，以及占个位，以后其他类似的不等式...

二阶优化算法Natural Gradient Descent，是从分布空间推导最速梯度下降方向的方法，和牛顿方法有非常紧密的联系。Fisher Information Matrix往往可以用来代替牛顿法的Hessian矩阵计算。下面详细道来。

专门收录一下一些有趣的，计算机视觉中我想记录一下的算法，重点关注的是loss function，顺便说下相关算法。因为是收录，只为日后查看之需，有一些会借用一些资料，我会给出引用。1、Faster RCNN两阶段目标检测的代表作，可以说是开创了目标检测的一番局面。现在很多公司实际在商用的目标检测算法，依然很多是基于Faster RCNN的。虽然后来各种论文都号称吊打Faster RCNN，但是..

本文仅用于个人网络资料收录：）深度学习（科普）2014-11-17：解密最接近人脑的智能学习机器 ——深度学习及并行化实现（腾讯大数据）2018-2-16：深度 | Pedro Domingos总结机器学习研究的12个宝贵经验高维的一般问题是，来自三维世界的人类直觉通常不适用于高维空间。在高维度当中，多元高斯分布的大部分数据并不接近平均值，而是在其周围越来越远的「壳」中；此外，...

经常在文献中看到inf和sup，很多人不知道是什么意思。其实这两个概念是来自于“数学分析”中的上确界和下确界：inf： infimum 或 infima，中文叫下确界或最大下界。 inf(S)， S表示一个集合， inf(S)是指集合S的下确界， 即小于或等于S中所有元素的最大值， 这个数不一定在集合S中。sup：supremum，中文叫上确界。sup(S)是指集合S的上确界，即大于或等于S的所有