多个大模型API管理太乱?这个开源网关帮你一键聚合

简介
什么是 Octopus ?
Octopus是一个开源的LLM API聚合服务,它可以帮助用户将多个大模型提供商的API统一管理,实现协议转换、负载均衡和用量统计。
主要特点
- 多渠道聚合:连接多个
LLM提供商渠道,支持单渠道多KEY多端点,统一管理所有API - 协议互转:支持
OpenAI Chat、OpenAI Responses、Anthropic三种协议格式无缝互转,一套配置适应不同客户端 - 自动同步:自动同步上游模型列表和价格信息,无需手动维护
- 负载均衡:多渠道智能路由,支持按权重轮询和故障自动重试
- 数据分析:完整的请求统计、
Token消耗和成本追踪,支持可视化仪表盘 - 精美 UI:简洁美观的
Web管理面板,支持桌面端和移动端 - 多数据库支持:支持
SQLite、MySQL、PostgreSQL三种数据库 - 开源免费:基于
AGPL-3.0协议开源,可免费使用和修改
应用场景
- 个人开发者:统一管理
OpenAI、Claude、Gemini等多个API Key,避免反复切换配置 - AI 编程工具:为
Claude Code、Codex等工具提供统一的API入口,支持协议自动转换 - 团队协作:多用户权限管理,按需分配
API配额和访问权限 - 成本控制:实时统计
Token消耗和费用支出,优化API使用成本 - 高可用部署:多渠道负载均衡,单个渠道故障自动切换,保障服务稳定性

Octopus 是一个为个人打造的美观优雅的 LLM API 聚合服务,让多模型管理变得简单高效。
安装
在群晖上以 Docker 方式安装。
在注册表中搜索 bestrui ,选择第三个 bestrui/octopus,版本选择 latest。
本文写作时,
latest版本对应为v0.10.3;

卷
在 docker 文件夹中,创建一个新文件夹 octopus,并在其中建一个子文件夹 data
| 文件夹 | 装载路径 | 说明 |
|---|---|---|
docker/octopus/data |
/app/data |
存放数据库和设置文件等 |

端口
本地端口不冲突就行,不确定的话可以用命令查一下
# 查看端口占用
netstat -tunlp | grep 端口号
| 本地端口 | 容器端口 |
|---|---|
8735 |
8080 |
默认没有对外暴露端口

需要点 + 号自己添加

docker cli 安装
如果你熟悉命令行,可能用 docker cli 更快捷
# 新建文件夹 octopus 和 子目录
mkdir -p /volume1/docker/octopus/data
# 进入 octopus 目录
cd /volume1/docker/octopus
# 一键启动
docker run -d \
--name=octopus \
--restart=unless-stopped \
-p 8735:8080 \
-v $(pwd)/data:/app/data \
bestrui/octopus
docker-compose 安装
也可以用 docker-compose 安装,将下面的内容保存为 docker-compose.yml 文件
version: '3.8'
services:
octopus:
image: bestrui/octopus
container_name: octopus
restart: unless-stopped
ports:
- "8735:8080"
volumes:
- ./data:/app/data # 数据持久化目录
然后通过 SSH 登录到您的群晖,执行下面的命令:
# 新建文件夹 octopus 和 子目录
mkdir -p /volume1/docker/octopus/data
# 进入 octopus 目录
cd /volume1/docker/octopus
# 将 docker-compose.yml 放入当前目录
# 一键启动
docker-compose up -d

运行
在浏览器中访问 http://<群晖IP>:8735 即可看到登录界面

使用默认账号密码登录:用户名 admin,密码 admin

登录后的主界面

安全起见,进设置立即修改默认密码

在「渠道管理」中添加你的 LLM API 渠道,还是以 硅基流动 为例
- 渠道名称:例如 :
SiliconFlow - 渠道类型:支持
OpenAI Chat等多种协议,这里用了Anthropic Base URL:填入:https://api.siliconflow.cnAPI Key:填入你在硅基流动的API Key- 模型:可以手动填入,也可以刷新之后选取

目前硅基流动(SiliconFlow)注册就送 16 元的代金券
注册地址:

添加完成后

在「分组管理」中创建模型分组

生成 API Key 供客户端调用

接下来需要复制刚生成的 API Key

可以在编程工具或者其他工具中调用
- 提供商名称: 例如
octopus API密钥: 上一步创建并复制的API Key- 端点设置:默认填了
OpenAI的,地址都一样,用http://<群晖IP>:8735/v1即可

随便问个问题

日志中能看到我们的请求

注意事项
- 修改默认密码:首次登录后请立即修改默认密码
admin,避免安全风险 - 数据持久化:确保
/app/data目录已正确挂载,配置文件和数据库存储在此目录 - 端口配置:本文使用
8735端口,请确保该端口未被其他服务占用
参考文档
bestruirui/octopus: One Hub All LLMs For You | 为个人打造的 LLM API 聚合服务
地址:https://github.com/bestruirui/octopus
Linux.do 社区讨论
地址:https://linux.do/t/topic/1316708
更多推荐
所有评论(0)