
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
山东大学项目实训(6)AI服务器的测试
山东大学项目实训记录AI服务器测试过程,包含单发和并发两种测试方式。单发测试使用Python脚本验证模型响应性能,支持流式和非流式输出,实测平均token生成速率超过20个/s。并发测试通过ThreadPoolExecutor模拟高负载场景,配置100个并发请求和5个工作线程,评估服务器在多用户访问时的稳定性。测试结果显示系统在首token响应时间和持续生成速度方面表现良好,未发现明显性能瓶颈。测
到底了







