
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本文设计并实现了一个线程安全的SessionManager会话管理模块,解决多轮对话中上下文维护、并发访问等核心问题。基于unordered_map与shared_ptr实现高效存储,结合mutable mutex和atomic变量保障多线程安全,提供会话创建、消息追加、时间戳更新、列表排序及删除等完整接口。通过GTest验证了全生命周期功能,显著提升SDK在真实对话场景下的可用性与稳定性。

本文设计并实现了一个统一的大模型管理模块——LLMManager,解决多模型接入时实例化繁琐、管理分散的问题。通过unique_ptr实现独占所有权,以unordered_map维护模型注册与元信息,提供注册、初始化、查询及消息转发接口,屏蔽底层差异。业务仅需传入模型名即可完成调用,支持云端与本地模型无缝切换,提升可扩展性与维护性,构建了清晰的分层架构。

本文详细解析了Ollama本地大模型流式响应接口的实现原理与代码实践。针对其非标准SSE协议(以换行分隔独立JSON、通过done=true标记结束),重点解决了半包缓冲、分片切分与错误处理等核心难点。通过cpp-httplib构建长连接请求,结合回调机制逐段解析增量文本,实现了类似打字机效果的实时输出。完整封装在LLMProvider抽象基类中,保持接口一致性,支持本地与云端模型统一调用,具备良

本文系统介绍了基于Ollama本地大模型的Provider实现全流程:通过Apifox调试接口,掌握Ollama特有的请求/响应格式;设计并实现OllamaLLMProvider类,完成配置解耦与初始化;实现非流式全量响应接口,重点处理参数映射、JSON序列化与响应解析;最后通过GTest与CMake构建测试验证功能。代码遵循抽象契约,具备良好扩展性,为后续流式接口开发奠定基础。

本文系统对比了云端大模型API与本地私有化部署的优劣,详述了本地部署的硬件要求、实施流程及原生搭建方案。重点介绍Ollama工具在Ubuntu与Windows环境下的安装、配置与运维,涵盖模型管理、服务运行、网络暴露、性能调优等核心操作,并解析其存储结构与环境变量机制,为开发者实现安全可控的大模型本地化落地提供完整实践指南。

本文详细实现了Gemini模型的流式响应接口,基于OpenAI兼容网关,通过sendMessageStream接口完成逐字增量返回。核心流程包括参数校验、SSE请求构建、流式回调解析与半包处理,确保与DeepSeek、ChatGPT接口风格一致。结合httplib客户端配置超时与代理,完成安全可靠的流式通信。配套编写GTest单元测试,验证接口正确性与异常兜底能力。最终实现统一契约下多模型无缝切换

本文详细实现了Gemini模型的流式响应接口,基于OpenAI兼容网关,通过sendMessageStream接口完成逐字增量返回。核心流程包括参数校验、SSE请求构建、流式回调解析与半包处理,确保与DeepSeek、ChatGPT接口风格一致。结合httplib客户端配置超时与代理,完成安全可靠的流式通信。配套编写GTest单元测试,验证接口正确性与异常兜底能力。最终实现统一契约下多模型无缝切换

本文系统完成了Gemini模型通过OpenAI兼容API的接入开发,基于Apifox验证接口规范,设计并实现GeminiProvider类,涵盖初始化、状态检测、全量响应等核心功能。重点处理了代理配置强制校验、Bearer鉴权、JSON序列化与响应解析等工程细节,并通过GTest与CMake完成单元测试,验证链路可用性。项目遵循策略模式,保持与DeepSeek、ChatGPT等模型的统一抽象接口,

本文系统完成了Gemini模型通过OpenAI兼容API的接入开发,基于Apifox验证接口规范,设计并实现GeminiProvider类,涵盖初始化、状态检测、全量响应等核心功能。重点处理了代理配置强制校验、Bearer鉴权、JSON序列化与响应解析等工程细节,并通过GTest与CMake完成单元测试,验证链路可用性。项目遵循策略模式,保持与DeepSeek、ChatGPT等模型的统一抽象接口,

本文详细实现了ChatGPT ResponsesAPI的流式响应接口,重点解析了SSE半包缓冲处理的必要性及多事件类型(如response.output_text.delta、error等)的差异化处理逻辑。针对200状态码不等于调用成功的坑点,通过content_receiver回调捕获业务异常。基于抽象基类LLMProvider,仅需修改20%适配代码,即可完成新模型接入,验证了SDK架构的高








