logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

AI 大模型接入 SDK —项目概述

用户调用│▼│├──▶ SessionManager::addMessage() (保存用户消息)├──▶ SessionManager::getHistoryMessages() (获取历史)│▼│▼│▼HTTP POST ──▶ 模型 API 服务端│▼JSON 响应解析│▼返回 assistant 回复│▼SessionManager::addMessage() (保存回复)

#数据库#服务器#c++ +2
AI大模型接入SDK—LLMProvider实现

public:// 初始化模型(纯虚函数)// 检查提供方是否可用// 获取提供方名称/描述// 发送消息——全量返回// 发送消息——流式返回protected:// 提供方是否可用// API 密钥// API 端点地址Provider模型名称API 路径协议格式认证方式OpenAI 标准OpenAI 新格式OpenAI 兼容用户指定/api/chatOllama 原生无。

#linux#c++#网络
AI大模型接入SDK—管理器设计

管理器核心职责设计亮点SQLite 数据持久化参数化 SQL、线程安全、RAII会话生命周期 + 缓存双层存储、内存优先、数据恢复LLMManager模型注册与路由策略模式分发、两阶段初始化三者关系依赖实现数据持久化ChatSDK组合和LLMManager,协调会话管理与模型调用LLMManager独立管理 Provider,不依赖其他管理器协作核心:ChatSDK 是协调者,通过 Session

#数据库#c++#linux +1
AI大模型接入SDK—SDK设计

维度说明角色SDK 统一入口、协调者(Facade)核心方法initModels(初始化)、(全量)、(流式)设计模式外观模式(Facade)、代理模式、模板方法模式(变体)成员组合LLMManager(模型管理)+(会话管理)+(配置缓存)初始化策略两阶段:注册 → 初始化消息发送流程添加用户消息 → 获取历史 → 调用模型 → 添加助手回复 → 更新时间戳ChatSDK 的核心价值简化外部调用

#服务器#c++#linux
AI 大模型接入 SDK —项目概述

用户调用│▼│├──▶ SessionManager::addMessage() (保存用户消息)├──▶ SessionManager::getHistoryMessages() (获取历史)│▼│▼│▼HTTP POST ──▶ 模型 API 服务端│▼JSON 响应解析│▼返回 assistant 回复│▼SessionManager::addMessage() (保存回复)

#数据库#服务器#c++ +2
AI大模型接入SDK—LLMProvider实现

public:// 初始化模型(纯虚函数)// 检查提供方是否可用// 获取提供方名称/描述// 发送消息——全量返回// 发送消息——流式返回protected:// 提供方是否可用// API 密钥// API 端点地址Provider模型名称API 路径协议格式认证方式OpenAI 标准OpenAI 新格式OpenAI 兼容用户指定/api/chatOllama 原生无。

#linux#c++#网络
AI大模型接入SDK—管理器设计

管理器核心职责设计亮点SQLite 数据持久化参数化 SQL、线程安全、RAII会话生命周期 + 缓存双层存储、内存优先、数据恢复LLMManager模型注册与路由策略模式分发、两阶段初始化三者关系依赖实现数据持久化ChatSDK组合和LLMManager,协调会话管理与模型调用LLMManager独立管理 Provider,不依赖其他管理器协作核心:ChatSDK 是协调者,通过 Session

#数据库#c++#linux +1
    共 16 条
  • 1
  • 2
  • 请选择