logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

ARM Linux + Ascend NPU 环境下基于 vLLM API 的 AISBench 遇到的实际问题实录~

主包准备的是文档推荐的开源数据集。: [0:500]原始 AISBench summary accuracy = 91.60% Post=500,Received=496,Failed=4,empty prediction=8。对 8 条空预测样本进行手动补跑后,5 条补跑正确,修正 accuracy = 92.60%。1. max_out_len 太小会导致模型只返回 reasoning,con

#linux#服务器#python
到底了