logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

熵、交叉熵、KL散度、Softmax 与分类损失函数

熵 H(P):真实分布 P 自己的不确定性。交叉熵 H(P,Q):真实分布是 P,但用模型分布 Q 去描述它的总代价。KL 散度 D_KL(P||Q):用 Q 描述 P 时,比用 P 自己描述自己多出来的额外代价。信息量表示某个事件发生后带来的意外程度,概率越小,信息量越大。熵是一个分布自身的平均信息量,可以理解为系统自己描述自己。交叉熵是用另一个分布 Q 去描述真实分布 P 的平均代价。KL 散

#机器学习#概率论
ollama本地部署(Linux参考,autodl租用服务器)

ollama本地部署(Linux参考,autodl租用服务器)

文章图片
#人工智能#语言模型
到底了