logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型微调-KV Cache和PEFT

是:保持预训练好的原始模型权重完全冻结(不更新),仅在某些特定的权重矩阵(如注意力模块中的Q、K、V、O矩阵)旁,添加一对可训练的低秩矩阵(通常记为A和B)。在微调过程中,只训练这些新增的、参数量很少的低秩矩阵,让它们学习任务特定的知识。(参数高效微调)是一种用于微调大型语言模型的高效方法,其核心目标是只更新或新增模型中的一小部分参数,而非调整全部参数(即全参数微调)。秩(r)决定了低秩矩阵的大小

#人工智能
Hadoop-集群搭建前的准备工作

集群搭建请准备工作-SSH免密登录与集群时间同步

#hadoop#大数据
Hive-rank() 和 order by的用法

hive中rank()和order by的用法测试

#hive#大数据
hive-分桶和常用查询函数

hive分桶抽样和常用查询函数

#大数据#hive#数据仓库
Hadoop -HDFS、YARN与MapReduce基本概念

ApplicationMaster:单个Job在运行在YARN上时,启动一个当前job的AppMR,这个进程负责这个Job所有Task资源申请,以及状态检测,容错。Container:计算资源的抽象表达,一个Container中封装了若干计算资源,例如,CPU,内存。ResourceManager:(1个)资源管理者:负责整个集群中所有节点资源的管理和调度。NodeManager:(N个)节点资源

#hadoop#hdfs#mapreduce
大模型微调-KV Cache和PEFT

是:保持预训练好的原始模型权重完全冻结(不更新),仅在某些特定的权重矩阵(如注意力模块中的Q、K、V、O矩阵)旁,添加一对可训练的低秩矩阵(通常记为A和B)。在微调过程中,只训练这些新增的、参数量很少的低秩矩阵,让它们学习任务特定的知识。(参数高效微调)是一种用于微调大型语言模型的高效方法,其核心目标是只更新或新增模型中的一小部分参数,而非调整全部参数(即全参数微调)。秩(r)决定了低秩矩阵的大小

#人工智能
Hadoop-集群搭建

作者在搭建Hadoop集群时的详细配置步骤和脚本工具分享。内容包括:1)HDFS搭建(NameNode/DataNode配置与启动);2)YARN配置(ResourceManager/NodeManager设置);3)历史服务器和日志聚集功能配置;4)SSH免密登录设置及自动化脚本(XSYNC文件分发/xcall集群命令);5)集群启动原理图解。作者还提到整理笔记的初衷是为了求职准备,反映了当前严

#大数据#hadoop
到底了