logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

山东大学项目实训(6)AI服务器的测试

山东大学项目实训记录AI服务器测试过程,包含单发和并发两种测试方式。单发测试使用Python脚本验证模型响应性能,支持流式和非流式输出,实测平均token生成速率超过20个/s。并发测试通过ThreadPoolExecutor模拟高负载场景,配置100个并发请求和5个工作线程,评估服务器在多用户访问时的稳定性。测试结果显示系统在首token响应时间和持续生成速度方面表现良好,未发现明显性能瓶颈。测

#服务器#python#flask
到底了