logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

如何选对大模型:场景, benchmark 与性价比

这一阶段评价的不是模型本身,而是数据与任务的质量:如果前期数据杂乱,任务边界不清,后续训出的模型跑分再高也不可信。数据质量:去重、去污染;标注一致性(常用一致率或 Cohen κ);垂直域的数据集(法律、医学等)往往没有现成试卷,要先定义合格的题目样本。任务定义:输出是离散类别、固定参考答案文本,还是开放生成?与后续评测的衔接:避免训练、公开榜、业务验收各说各话。对绝大多数普通用户, deepse

#nlp#python
到底了