
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
windows + ubuntu双系统安装(win10 + Ubuntu 24.04.2 LTS)
继续下一步(后续步骤省略),选择U盘完成启动盘的制作。
大模型的多Lora部署(离线推理+在线服务)
大模型多LoRA部署是一种高效利用单一基座模型同时服务多个下游任务的推理方案,通过加载不同的低秩适配器(LoRA)实现任务定制化,显著节省显存与计算资源。本文使用LoRA对Qwen3-1.7B进行指令微调,选择不同检查点得到的适配器进行测试。NOTE:原本的vllm版本为0.9.2,enable_lora=True时,模型初始化一直报错,应该是vLLM版本和LoRA兼容性的问题,后将vllm升级到
指令微调Qwen3实现文本分类任务
为了实现对108个标签的多标签文本分类任务,前期调用gpt-4o进行prompt优化,实现了较高的准确率,积累了大量的语料。后续利用积累的语料对大模型进行微调,部署自己的服务,取代gpt的API调用。因为显卡大小有限,仅有一个16G的显卡,因此选择了小参数量的qwen3-1.7B模型进行指令微调,将108个标签拆解为两个任务来做,使用LoRA训练各自的adapter,这样可以通过加载不同的adap
子词分词器(Byte Pair Encoding + WordPiece)
BPE和WordPiece都是常用的子词分词器,子词分词器可以控制词表的大小的同时学习到有意义的上下文表示,所以现在的深度学习模型一般会使用子词分词器。都要指定一个词典的大小都包含更细粒度的子词,所以可以控制词典的大小的同时,缓解OOV问题将词加入基础词典的选择策略不一样,BPE是选择频率最高的字符对,WordPiece是选择使训练数据的似然概率最大的字符对。BPE和WordPiece的区别在于如
到底了







