写文章
- @m0_52049033
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
GAN(Generative Adversarial Nets)
GAN的详解以及公式推导和代码
Java 环境变量配置
Java的环境配置
Anaconda +Pytorch安装教程
anaconda与pytorch环境的安装以及虚拟环境的创建。
Java 环境变量配置
Java的环境配置
vscode中如何直接一键生成html模板
vscode一键生成模板
卷积神经网络(CNN)
介绍了卷积神经网络各层的设计、卷积的概念、卷积神经网络反向传播的计算步骤以及使用pytorch实现卷积神经网络的代码。
循环神经网络(Recurrent Neural Network,RNN)
介绍了RNN的分类、详细原理，推导了BPTT算法的实现，给出了RNN的实现代码案例。
卷积神经网络(CNN)
介绍了卷积神经网络各层的设计、卷积的概念、卷积神经网络反向传播的计算步骤以及使用pytorch实现卷积神经网络的代码。
循环神经网络(Recurrent Neural Network,RNN)
介绍了RNN的分类、详细原理，推导了BPTT算法的实现，给出了RNN的实现代码案例。
【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models
LoRA（低秩适应）是一种高效微调大语言模型的方法。该方法通过冻结预训练模型参数，仅训练低秩分解的增量矩阵（B和A）来适应下游任务，显著减少了可训练参数量（从d×k降至d×r+r×k）。LoRA在微调时不会增加推理延迟，且比Adapter、Prefix-Tuning等方法更具优势。其关键实现包括：将权重增量ΔW分解为BA乘积，采用B初始化为0、A为高斯分布的初始化策略，并通过α/r系数控制微调强度
