一、知识梳理二、感知机1、感知模型1）概念所谓感知机，就是二类分类的线性分类模型，其输入为样本的特征向量，输出为样本的类别，取+1和-1二值，即通过某样本的特征，就可以准确判断该样本属于哪一类。顾名思义，感知机能够解决的问题首先要求特征空间是线性可分的，再者是二类分类，即将样本分为{+1, -1}两类。具体模型如下：2）学习策略给定一个数据集T={(x1,y1),(x2,y2),...,(xN,y

一、基本概念梯度下降: ???? ????+???? = ???? ???? − LR * ????(???? ???? )学习率（learning rate）控制更新的步伐二、 具体方法1、class _LRSchedulerclass _LRScheduler(object):def __init__(self, optimizer, last_epoch=-1):def get_lr(sel

一、Why Normalization因为在深度神经网络中，数据在训练过程（前向传播）中会出出现数据尺度和分布的异常。当这些异常累积的一定程度时，就会导致训练困难。二、 常见Normalization1、种类Batch Normalization（BN）Layer Normalization（LN）Instance Normalization（IN）Group Normalization（GN）2

一、损失函数概念损失函数：衡量模型输出与真实标签的差异class _Loss(Module):def __init__(self, size_average=None, reduce=None,reduction='mean'):super(_Loss, self).__init__()if size_average is not None or reduce is not None:self.r

一、基础知识1、计算机视觉工具包：torchvisiontorchvision.transforms : 常用的图像预处理方法torchvision.datasets : 常用数据集的dataset实现，MNIST，CIFAR-10，ImageNet等torchvision.model : 常用的模型预训练，AlexNet，VGG， ResNet，GoogLeNet等2、常用的图像预处理方法数据中

一、知识梳理二、网络历史1）神经网络历史1957年Frank Rosenblatt发明了第一代线性感知机也就是感知算法，输出只的值只有0和1，权重更新方式与反向传播类似。但是此时反向传播算法并未发明。1960年widerow和hoff发明了adaline和madaline首次尝试多层感知器网络反向传播算法仍然未出现。1986年ru...

一、知识回顾二、CART算法1、原理分类与回归树（classification and regression tree, CART）模型是应用广泛的决策树学习方法，同样由特征选择、树的生成和剪枝组成，既可以用于分类也可以用于回归。CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。2、算法流程决策树生成：基于训练数据集生成决策树，

一、知识梳理二、网络历史1）神经网络历史1957年Frank Rosenblatt发明了第一代线性感知机也就是感知算法，输出只的值只有0和1，权重更新方式与反向传播类似。但是此时反向传播算法并未发明。1960年widerow和hoff发明了adaline和madaline首次尝试多层感知器网络反向传播算法仍然未出现。1986年ru...

引言目标检测：目标检测的目标是确定某张给定图像中是否存在给定类别（比如人、车、自行车、狗和猫）的目标实例；如果存在，就返回每个目标实例的空间位置和覆盖范围（比...

前言：本文为进化神经网络的总结并不是文献的阅读笔记，因此本文的书写方式与之前的博客并不相同。本文对深度进化神经网络的基本概念进行记录，分为遗传算法、遗传策略和网路进化。一、遗传算法1、基本思路遗传算法（Genetic Algorithm, GA）是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。补充：为什么需要遗传算法？因为它可寻找出