前言：深度学习的初始化参数指的是在网络训练之前，对各个节点的权重和偏置进行初始化的过程，很多时候我们以为这个初始化是无关紧要的，不需要什么讲究，但是实际上，一个参数的初始化关系到网络能否训练出好的结果或者是以多快的速度收敛，这都是至关重要的，有时候因为参数初始化的缘故，甚至得不到好的训练结果。本文就来讨论一下参数初始化到底有什么讲究以及常见的参数初始化的一些策略方法。阅读本文需要神经网络...

前言：Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一种处理方法。LRN归一化技术首次在AlexNet模型中提出这个概念。通过实验确实证明它可以提高模型的泛化能力，但是提升的很少，以至于后面不再使用，甚至有...

前言：我们一般使用深度学习框架都是GPU版本的，如何检测我们的安装是否成功，GPU、CUDA、CUDNN等信息呢？本文做了一个归纳总结：一、tensorflow版本的GPU信息查看（1）tensorflow版本tf.__version__tensorflow版本tf.__xxxxx__一些信息的查看tf.verison.xxxx一些信息tf.te...

前言：tensorboard是一个非常强大的工具、不仅仅可以帮助我们可视化神经网络训练过程中的各种参数，而且可以帮助我们更好的调整网络模型、网络参数，这一块类容后面会讲到，不管是tensorflow、keras、还是pytorch，tensorboard都提供了非常好的支持，本文是系列文章的第一篇，详细介绍基于keras+tensorboard如何来进行网络的可视化。写这篇文章的初衷很简单...

前言：在深度学习的时候，能够很好的绘制出整个网络的模型图，这是非常方便的，当前流行的tensorflow和pytorch都有很多种方法可以绘制模型结构图，特在此总结如下：tensorflow的模型结构可视化方法：（1）使用自带的tensorboard（不直观）（2）使用netron工具打开（.pd 或者是.meta文件）（3）第三方库CNNGraph（https://g...

概述，需要注意以下几个问题：（1）NVIDIA的显卡驱动程序和CUDA完全是两个不同的概念哦！CUDA是NVIDIA推出的用于自家GPU的并行计算框架，也就是说CUDA只能在NVIDIA的GPU上运行，而且只有当要解决的计算问题是可以大量并行计算的时候才能发挥CUDA的作用。CUDA的本质是一个工具包（ToolKit）；但是二者虽然不一样的。显卡驱动的安装：当我们使用...

进入正文一、什么是语言模型什么是语言模型相关背景与认知1.1对于自然语言相关的问题，比如机器翻译，最重要的问题就是文本的序列时候不是符合我们人类的使用习惯，语...

前言：C语言最难的地方莫过于各种类型的指针，光听名字就把人给绕晕了，本文是在一些重要的基础概念之上进行说明的，需要一些知识储备，即：什么是数组指针、指针数组、函数指针、指针函数等，然后才能看得懂本文。一、简单概述1.1 函数指针所谓函数指针即定义一个指向函数的指针变量，定义的格式如下：int (*p)(int x, inty);//注意：这里的括号不能掉，因为括号()...

前言：C语言最难的地方莫过于各种类型的指针，光听名字就把人给绕晕了，本文是在一些重要的基础概念之上进行说明的，需要一些知识储备，即：什么是数组指针、指针数组、函数指针、指针函数等，然后才能看得懂本文。一、简单概述1.1 函数指针所谓函数指针即定义一个指向函数的指针变量，定义的格式如下：int (*p)(int x, inty);//注意：这里的括号不能掉，因为括号()...

前言：SegNet语义分割网络是2015年的一篇论文，论文通篇所涉及到的基本理论很少，网络结构也不是很复杂，本文从SegNet的结构着手，分析一下SegNet的工作原理是涉及思想。一、SetNet的相关资源SegNet同样是基于FCN，修改VGG-16网络得到的语义分割网络，有两种SegNet，分别为正常版SegNet与贝叶斯版SegNet，同时SegNet作者根据网络的深度提供了...