logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

AI 实时推理流式预热实战:首字符延迟从 800ms 砍到 200ms

实测从平均 TTFT 800ms → 200ms(OpenAI gpt-4o-mini,国内中转节点)。下面是踩坑过程。

#人工智能
AI 实时推理流式预热实战:首字符延迟从 800ms 砍到 200ms

实测从平均 TTFT 800ms → 200ms(OpenAI gpt-4o-mini,国内中转节点)。下面是踩坑过程。

#人工智能
到底了