
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
国内用modelscop下载glm-4-9b-chat大模型权重
汇聚各领域最先进的机器学习模型,提供模型探索体验、推理、训练、部署和应用的一站式服务。安装modelscope。在以下社区找到对应模型。
国内用modelscop下载glm-4-9b-chat大模型权重
汇聚各领域最先进的机器学习模型,提供模型探索体验、推理、训练、部署和应用的一站式服务。安装modelscope。在以下社区找到对应模型。
国内用modelscop下载glm-4-9b-chat大模型权重
汇聚各领域最先进的机器学习模型,提供模型探索体验、推理、训练、部署和应用的一站式服务。安装modelscope。在以下社区找到对应模型。
transformer的输入到输出(维度以及矩阵计算)
维度变化:q*k.T=(3,5)*(5,3)=(3,3)(/^dk和softmax矩阵维度不变)维度变化:q*k.T=(3,5)*(5,3)=(3,3)(/^dk和softmax矩阵维度不变)z=(3,5*4)=(3,20)注意力机制到这里就结束了(z为提取的向量特征)之后乘v=(3,3)*(3,5)=(3,5)(由于为4头注意力机制所以5乘4)之后乘v=(3,3)*(3,5)=(3,5)(由于为

到底了







