logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Embedding模型训练/sentence transformer

类似微调LLM,微调embedding模型也是为了提高在自己数据域上的效果。sentence transformer本质上在transformers的基础上包装了方法。因此用起来相当简洁。

文章图片
#transformer#人工智能
qwen模型用soft prompt实现文本分类

利用soft prompt实现中文文本分类

文章图片
BUG: 加载部分sentence transformers模型报错HFValidationError: Repo_id must be in the form repo_name

解释:以bge-m3为例,除了常见的config.json、pytorch_model.bin等等外还需要下载1_Pooling文件夹,里面包含了一个config.json,这是sentence transformers模型中的pooling层。虽然还能正常加载,没有报错HFValidationError,但实际pooling层因为缺少config.json会创建新层。个人觉得是由于all-Min

文章图片
#bug
到底了