logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

使用python语言的本地与云端大模型调用的统一接口封装及使用

本文介绍了一个Python工具类,通过抽象基类统一了本地部署模型(HuggingFace)和云端API(OpenAI兼容接口)的调用方式。只需修改初始化代码即可在两种后端间切换,业务逻辑无需改动。工具类支持基本对话、多轮记忆对话和JSON格式返回,提供参数控制输出长度、随机性等。本地模型支持量化加载方式,云端模型具备重试机制。该设计遵循面向接口编程思想,降低了本地部署AI的难度,同时保持了云端调用

#python#深度学习#pycharm
到底了