logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LoRA微调Qwen3-0.6B,并使用vllm本地部署运行

导出之后本来想用ollama部署,但是当我用llama.cpp转换成gguf后,部署到ollama进行推理,模型直接癫狂了,不但回答的不对,还出现了严重的重复,根本刹不住。可能我微调的时候用的是fp32所以导出的模型竟然比原来的模型还大。因为我的电脑是macos,在计算类型这个参数中只能使用fp32精度,其他精度的都不支持,所以导致我在训练的时候很慢,30轮的epoch训练了5个小时左右。检查点路

文章图片
#python#人工智能#conda
LoRA微调Qwen3-0.6B,并使用vllm本地部署运行

导出之后本来想用ollama部署,但是当我用llama.cpp转换成gguf后,部署到ollama进行推理,模型直接癫狂了,不但回答的不对,还出现了严重的重复,根本刹不住。可能我微调的时候用的是fp32所以导出的模型竟然比原来的模型还大。因为我的电脑是macos,在计算类型这个参数中只能使用fp32精度,其他精度的都不支持,所以导致我在训练的时候很慢,30轮的epoch训练了5个小时左右。检查点路

文章图片
#python#人工智能#conda
SenSeVoice模型微调记录,语音识别垂直领域术语准确率提升至99%

语音识别模型微调过程记录 针对能源石油领域专业术语识别准确率低的问题,记录了语音识别模型的微调过程。首先从数据库和网络搜集了约800条石油产品、仓库、品牌等地炼专业术语数据,整理为规范文本。通过CosyVoice语音合成模型将文本批量转换为wav音频文件,并生成标准化训练数据集(包含音频路径文件val_wav.scp和标注文本val_text.txt)。最后搭建SenseVoice项目环境,为后续

文章图片
#python#语音识别#人工智能 +1
到底了