
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
是:保持预训练好的原始模型权重完全冻结(不更新),仅在某些特定的权重矩阵(如注意力模块中的Q、K、V、O矩阵)旁,添加一对可训练的低秩矩阵(通常记为A和B)。在微调过程中,只训练这些新增的、参数量很少的低秩矩阵,让它们学习任务特定的知识。(参数高效微调)是一种用于微调大型语言模型的高效方法,其核心目标是只更新或新增模型中的一小部分参数,而非调整全部参数(即全参数微调)。秩(r)决定了低秩矩阵的大小
集群搭建请准备工作-SSH免密登录与集群时间同步
hive常用开窗函数
hive中rank()和order by的用法测试
hive分桶抽样和常用查询函数
ApplicationMaster:单个Job在运行在YARN上时,启动一个当前job的AppMR,这个进程负责这个Job所有Task资源申请,以及状态检测,容错。Container:计算资源的抽象表达,一个Container中封装了若干计算资源,例如,CPU,内存。ResourceManager:(1个)资源管理者:负责整个集群中所有节点资源的管理和调度。NodeManager:(N个)节点资源
是:保持预训练好的原始模型权重完全冻结(不更新),仅在某些特定的权重矩阵(如注意力模块中的Q、K、V、O矩阵)旁,添加一对可训练的低秩矩阵(通常记为A和B)。在微调过程中,只训练这些新增的、参数量很少的低秩矩阵,让它们学习任务特定的知识。(参数高效微调)是一种用于微调大型语言模型的高效方法,其核心目标是只更新或新增模型中的一小部分参数,而非调整全部参数(即全参数微调)。秩(r)决定了低秩矩阵的大小
作者在搭建Hadoop集群时的详细配置步骤和脚本工具分享。内容包括:1)HDFS搭建(NameNode/DataNode配置与启动);2)YARN配置(ResourceManager/NodeManager设置);3)历史服务器和日志聚集功能配置;4)SSH免密登录设置及自动化脚本(XSYNC文件分发/xcall集群命令);5)集群启动原理图解。作者还提到整理笔记的初衷是为了求职准备,反映了当前严







