logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

AI模型测评平台工程化实战十二讲(第四讲:TTFT性能分析与连接池优化:从73秒到325秒的性能退化问题深度解析)

摘要 本文分析了HKGAI模型评测系统中出现的严重性能退化问题,表现为TTFT(首Token响应时间)从初始73秒增长至325秒,且60秒超时设置完全失效。通过深入分析,发现三个关键问题:错误的TTFT计算方法(包含网络延迟)、不合理的连接池配置(limit_per_host=1导致瓶颈)以及缺乏重试机制。针对这些问题,提出了完整的解决方案:修正TTFT计时逻辑(精确区分请求发送和响应时间)、优化

文章图片
#android#网络#人工智能 +1
一款开源的自动化测试工具curl-loader

最近发现一款新的性能测试工具,觉得对其进行一番研究和学习,下面是我从各个网站收集到的资料:第一章:安装介绍本期将推开性能测试工具LoadRunner,去研究一款开源性能测试工具Curl-Loader,关于两者的优劣我也不大清楚,不过对于Lr的强大,相信大家是领教多了,而理解性能测试的原理的话,对于Curl-Loader就可以溢于言表了。前者可以做录制,且业务逻辑复杂的流程;而后者更

#测试工具#测试
性能测试指标及常用的监控工具

监控指标性能测试通常需要监控的指标包括:1.服务器Linux(包括CPU、Memory、Load、I/O)。2.数据库:1.Mysql 2.Oracle(缓存命中、索引、单条SQL性能、数据库[/url]线程数、数据池连接数)。3.中间件:1.Jboss 2. Apache(包括线程数、连接数、日志)。4.网络: 吞吐量、吞吐率。5.应用: jvm内存、日志、Full GC

#测试#服务器#数据库
awk 获取ip地址的学习

3.请执行命令取出linux中eth0的IP地址(请用cut,有能力者也可分别用awk,sed命令答)。解答:说明:此题解答方法已经给大家讲解了不下15种,还可以有很多,在这里给大家着重讲下awk的技巧用法,希望大家能多重视老师的思路、思维过程,不过过分关注问题的答案,以便达到学一通十的效果。方法一【此法为绿叶】:如果用awk来处理的话,一般的同学可能会用下面的办法实现:[

#正则表达式#linux
如何修改windows服务器最大的tcp连接数

在做性能测试测试时候,如果被测试的系统页面很简单,并且性能很好,这样会导致压力机得tcp链接数不够而导致如下错误:HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\tcpip\Parameters\TcpTimedWaitDelay to 30and HKEY_LOCAL_MACHINE\System\CurrentControlSe

#服务器#windows
深入理解大语言模型生成参数:temperature、top\_k、top\_p 等全解析

理解并合理配置大语言模型的生成参数,是提升模型效果的第一步。无论你是做产品落地、研究开发,还是系统调优,掌握这些参数的含义与搭配技巧,都会让你的生成结果更可控、更高质。如果你想进一步探索 Prompt 工程、模型微调(如LoRA)、推理引擎优化(如vLLM、TGI),欢迎关注后续内容更新。如有实际模型或API使用问题,也欢迎留言交流,我们将持续补充常用模型(如ChatGLM、LLaMA、Baich

#语言模型#人工智能#自然语言处理
AI模型测评平台工程化实战十二讲(第五讲:大模型测评分享功能:安全、高效的结果展示与协作)

大模型测评分享功能的设计和实现是一个复杂而重要的工程,它不仅仅是技术实现,更是对业务需求、用户体验、安全保障的综合考量。业务价值:分享功能解决了评测结果传播和协作的核心痛点,提高了工作效率和决策质量。技术架构:采用分层架构设计,确保了系统的可扩展性、可维护性和高性能。安全保障:多层次的安全控制机制,保护了敏感数据的安全性和访问的可控性。用户体验:从分享创建到结果展示的全流程优化,提供了流畅、直观的

文章图片
#人工智能#安全#c#
AI模型测评平台工程化实战十二讲(第六讲:大模型测评系统:智能模型管理模块的设计与实现)

本文探讨了大模型测评系统中智能模型管理模块的技术实现。通过工厂模式设计统一接口,支持多厂商AI模型的即插即用集成,采用配置驱动实现热更新和版本控制。系统采用模块化架构,标准化模型客户端接口,并通过JSON配置管理不同模型的功能特性(如联网搜索、法律咨询等)。这种设计提供了高灵活性,支持动态扩展和差异化管理,有效解决了企业级AI应用中的模型调度难题。

文章图片
#人工智能
当测试工程师遇上大模型:我在测AI“智商”的那些坑与心得

摘要: 大模型评测从传统功能测试转向评估"概率性正确",需综合考察知识、推理、编程等能力。主流基准如MMLU(跨学科理解)、HumanEval(代码生成)、GSM8K(数学推理)通过量化指标(准确率、鲁棒性等)衡量模型表现,但面临数据污染、文化偏差等挑战。未来AGI评估将聚焦跨模态、长期推理、伦理对齐等维度,强调动态更新与人机协作。测试工程师需平衡自动化与人工审核,警惕&quo

#人工智能
AI模型测评平台工程化实战十二讲(第七讲:大模型 + Search 的评估方法-从人工标注到第三方模型测评的系统性实践)

大模型与实时搜索的结合(Search-Augmented Generation)颠覆了传统评测体系。传统静态知识评估已无法应对动态事实、开放答案和引用透明性等挑战。新评测方法转向"四维指标":时效性、来源可信度、逻辑一致性和表达准确度。行业采用"混合评测体系",结合裁判模型自动评分和人工复核,并探索第三方开放评测平台。尽管自动化评测进步,人工复核仍不可或缺。

文章图片
#人工智能
    共 42 条
  • 1
  • 2
  • 3
  • 4
  • 5
  • 请选择