logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

硅基流动平台(SiliconFlow)基于openai-python调用思考模型时,如何关闭“思考过程”以提升响应速度?

摘要:在使用硅基流动(SiliconFlow)调用 DeepSeek-R1、QwQ 等具备“思维链(CoT)”能力的模型时,默认开启的思考模式会导致首字延迟高、生成速度慢,甚至在某些高频场景下引发超时或冗余输出。本文介绍如何通过 OpenAI SDK 的 extra_body 参数优雅地禁用 enable_thinking,实现秒级响应。

文章图片
#python
硅基流动平台(SiliconFlow)基于openai-python调用思考模型时,如何关闭“思考过程”以提升响应速度?

摘要:在使用硅基流动(SiliconFlow)调用 DeepSeek-R1、QwQ 等具备“思维链(CoT)”能力的模型时,默认开启的思考模式会导致首字延迟高、生成速度慢,甚至在某些高频场景下引发超时或冗余输出。本文介绍如何通过 OpenAI SDK 的 extra_body 参数优雅地禁用 enable_thinking,实现秒级响应。

文章图片
#python
LLamaIndex 接入硅基流动(SiliconFlow)Embedding 模型踩坑记录:OpenAI接口无法访问问题

最近在使用 LlamaIndex 构建 RAG 应用时,我选择了接入硅基流动 (SiliconFlow)的 Embedding 服务,不过还是因为有它的免费额度hhh。现在有送免费额度,个人觉得还是不错的在安装依赖并编写初始化代码后,本以为能顺利运行,结果却遇到了一个无法正常访问服务的问题,排查许久才发现是配置细节上的疏忽。特此记录,希望能帮到同样遇到此问题的朋友。这个小坑虽然不大,但确实浪费了不

到底了