logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

压测大模型时如何获取TTFT?

摘要:本文介绍了三种获取大模型TTFT(首Token响应时间)指标的方法:1)推荐使用vLLM等推理框架内置的/metrics端点直接获取Prometheus格式监控数据,或通过ServiceProfiler进行深度分析;2)通过解析服务端应用日志计算TTFT;3)客户端计算方法(精度较低),需用JMeter的JSR223后置处理器记录流式响应首Token时间。其中框架原生监控最为准确,日志分析次

#jmeter
Dify 应用性能问题优化-引用Higress AI 网关

摘要 开源AI应用平台Dify面临性能瓶颈问题,主要源于系统组件CPU性能不足和模型服务资源限制。Higress AI网关解决方案通过以下方式提升Dify应用的高可用性:1) 代理出入流量,替代原生Nginx;2) 提供多维度限流、Token级流控等治理能力;3) 实现模型Fallback和负载均衡;4) 支持AI缓存降低模型调用频次。实践表明,该方案能显著改善首Token延迟(下降50%)等性能

文章图片
#压力测试
PostgreSQL数据库性能监控手段之慢SQL、死锁

之前接触PostgreSQL数据库甚少(此前经常使用mysql、db2),直至入职当前某安全公司后,发现数据库都采用PostgreSQL,由于负责性能测试方向,经常需要诊断数据库方面是否存在性能问题,于是整理了PostgreSQL设置慢SQL、查看死锁等常用监控手段。一、慢SQL设置步骤1、笔者以工作中使用的docker为例,PostgreSQL版本为9.5:Postgr...

Dify 应用性能问题优化-引用Higress AI 网关

摘要 开源AI应用平台Dify面临性能瓶颈问题,主要源于系统组件CPU性能不足和模型服务资源限制。Higress AI网关解决方案通过以下方式提升Dify应用的高可用性:1) 代理出入流量,替代原生Nginx;2) 提供多维度限流、Token级流控等治理能力;3) 实现模型Fallback和负载均衡;4) 支持AI缓存降低模型调用频次。实践表明,该方案能显著改善首Token延迟(下降50%)等性能

文章图片
#压力测试
PostgreSQL数据库性能监控手段之慢SQL、死锁

之前接触PostgreSQL数据库甚少(此前经常使用mysql、db2),直至入职当前某安全公司后,发现数据库都采用PostgreSQL,由于负责性能测试方向,经常需要诊断数据库方面是否存在性能问题,于是整理了PostgreSQL设置慢SQL、查看死锁等常用监控手段。一、慢SQL设置步骤1、笔者以工作中使用的docker为例,PostgreSQL版本为9.5:Postgr...

TIDB数据库介绍

TiDB 简介TiDB是PingCAP公司自主设计、研发的开源分布式关系型数据库,是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 的融合型分布式数据库产品,具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。目标

#数据库#database
Java实现JSON数据的差异对比(转载)

之前有类似接口diff对比,数据对比的测试需求,涉及到json格式的数据对比,调研了几个大神们分享的代码,选了一个最符合自己需求的研究了下。(可惜原文链接找不到了,原始作者看到了可以私信我下)说明这个对比方法,支持JsonObject和JsonArray类型的数据对比,支持:深度的对比:list变化(个数、内容)、层级结构变化。

#java#json#python
postgresql数据库错误-FATAL: could not map anonymous shared memory: Cannot allocate memory

由于项目压测需要,对虚拟机的硬件配置信息由(CPU:24C MEM:32G)改为(CPU:8C MEM:16G),然后重启虚拟机后,postgresql数据库启动失败,具体报错信息如下:FATAL: could not map anonymous shared memory: Cannot allocate memoryHINT: This error usually means that Pos

#postgresql
java.lang.NumberFormatException: For input string: “”问题解决

java.lang.NumberFormatException: For input string

#java
    共 15 条
  • 1
  • 2
  • 请选择