logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

未填写擅长的技术栈

可提供的服务

暂无可提供的服务

深度学习笔记（一）

输入向量为神经元个数为。权重矩阵为，偏置为净输入（未激活输出）为激活输出为为激活函数，如 Sigmoid 或 ReLU）神经元个数为。权重矩阵为，偏置为净输入为预测输出为为输出层激活函数）拿到所有梯度后，我们就可以使用梯度下降法（设学习率为层级权重更新公式偏置更新公式输出层 (Layer 2)隐藏层 (Layer 1)%24q%24%24f%24%24l%24%24g%24%24j%24%24k%

#神经网络#深度学习#cnn
深度学习与神经网络学习笔记 —— 卷积神经网络（CNN）基础

传统全连接神经网络在处理图像时存在一个非常严重的问题：参数数量过于庞大。课程中提到，如果输入是一张 (1000 \times 1000) 的图像，而隐藏层拥有100万个神经元，那么参数规模将达到：即万亿级参数。如此庞大的参数量会导致：计算复杂度极高模型训练速度缓慢内存消耗巨大极易出现过拟合因此，传统神经网络并不适合直接处理高维图像数据。课程中指出，人类视觉系统在观察物体时，并不是一次性理解整个图像

#深度学习#神经网络#学习
深度学习与神经网络学习笔记 —— 视觉大模型基础（Vision Large Model）

课程内容：大模型发展概述、多模态大模型、Vision Transformer（ViT）、CLIP模型、知识蒸馏与DINO、自监督视觉学习核心关键词：视觉大模型、多模态学习、ViT、CLIP、知识蒸馏、DINO、视觉基础模型。

#深度学习#神经网络#学习
深度学习与神经网络学习笔记 —— 卷积神经网络（CNN）基础

传统全连接神经网络在处理图像时存在一个非常严重的问题：参数数量过于庞大。课程中提到，如果输入是一张 (1000 \times 1000) 的图像，而隐藏层拥有100万个神经元，那么参数规模将达到：即万亿级参数。如此庞大的参数量会导致：计算复杂度极高模型训练速度缓慢内存消耗巨大极易出现过拟合因此，传统神经网络并不适合直接处理高维图像数据。课程中指出，人类视觉系统在观察物体时，并不是一次性理解整个图像

#深度学习#神经网络#学习
深度学习与神经网络学习笔记 —— Transformer模型原理与实现

Transformer训练本质上属于监督学习过程。对于一个长度为 nnn 的目标序列：模型希望最大化整个序列出现概率：训练时通常采用交叉熵损失函数：对于整个数据集：通过反向传播不断更新参数：利用Attention替代循环结构；实现完全并行训练；更好地建模长距离依赖关系；成为现代大模型的基础架构。GPT系列BERT系列T5PaLMLLaMAQwen。

#深度学习#神经网络#学习
深度学习与神经网络学习笔记 —— 视觉大模型基础（Vision Large Model）

课程内容：大模型发展概述、多模态大模型、Vision Transformer（ViT）、CLIP模型、知识蒸馏与DINO、自监督视觉学习核心关键词：视觉大模型、多模态学习、ViT、CLIP、知识蒸馏、DINO、视觉基础模型。

#深度学习#神经网络#学习
深度学习与神经网络学习笔记 —— 卷积神经网络（CNN）基础

传统全连接神经网络在处理图像时存在一个非常严重的问题：参数数量过于庞大。课程中提到，如果输入是一张 (1000 \times 1000) 的图像，而隐藏层拥有100万个神经元，那么参数规模将达到：即万亿级参数。如此庞大的参数量会导致：计算复杂度极高模型训练速度缓慢内存消耗巨大极易出现过拟合因此，传统神经网络并不适合直接处理高维图像数据。课程中指出，人类视觉系统在观察物体时，并不是一次性理解整个图像

#深度学习#神经网络#学习
到底了