logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

一个接口调用三个模型,我只用了一个反向代理

更烦的是计费——三个供应商的费用要分别算,月底对账很头疼。计费方面,在每个请求的响应拦截器里记录token使用量,按供应商的单价换算成人民币,写到独立的计费表。踩过的坑: - 千帆的流式返回和标准SSE有细微差异,content字段名不一样,需要额外做字段映射 - DeepSeek的token计数方式比较特别,同样一段中文比Qwen多算30%的token - 高峰期并发量大时,千帆的access_

一个接口调用三个模型,我只用了一个反向代理

更烦的是计费——三个供应商的费用要分别算,月底对账很头疼。计费方面,在每个请求的响应拦截器里记录token使用量,按供应商的单价换算成人民币,写到独立的计费表。踩过的坑: - 千帆的流式返回和标准SSE有细微差异,content字段名不一样,需要额外做字段映射 - DeepSeek的token计数方式比较特别,同样一段中文比Qwen多算30%的token - 高峰期并发量大时,千帆的access_

一个接口调用三个模型,我只用了一个反向代理

更烦的是计费——三个供应商的费用要分别算,月底对账很头疼。计费方面,在每个请求的响应拦截器里记录token使用量,按供应商的单价换算成人民币,写到独立的计费表。踩过的坑: - 千帆的流式返回和标准SSE有细微差异,content字段名不一样,需要额外做字段映射 - DeepSeek的token计数方式比较特别,同样一段中文比Qwen多算30%的token - 高峰期并发量大时,千帆的access_

一个接口调用三个模型,我只用了一个反向代理

更烦的是计费——三个供应商的费用要分别算,月底对账很头疼。计费方面,在每个请求的响应拦截器里记录token使用量,按供应商的单价换算成人民币,写到独立的计费表。踩过的坑: - 千帆的流式返回和标准SSE有细微差异,content字段名不一样,需要额外做字段映射 - DeepSeek的token计数方式比较特别,同样一段中文比Qwen多算30%的token - 高峰期并发量大时,千帆的access_

一个接口调用三个模型,我只用了一个反向代理

更烦的是计费——三个供应商的费用要分别算,月底对账很头疼。计费方面,在每个请求的响应拦截器里记录token使用量,按供应商的单价换算成人民币,写到独立的计费表。踩过的坑: - 千帆的流式返回和标准SSE有细微差异,content字段名不一样,需要额外做字段映射 - DeepSeek的token计数方式比较特别,同样一段中文比Qwen多算30%的token - 高峰期并发量大时,千帆的access_

一个接口调用三个模型,我只用了一个反向代理

更烦的是计费——三个供应商的费用要分别算,月底对账很头疼。计费方面,在每个请求的响应拦截器里记录token使用量,按供应商的单价换算成人民币,写到独立的计费表。踩过的坑: - 千帆的流式返回和标准SSE有细微差异,content字段名不一样,需要额外做字段映射 - DeepSeek的token计数方式比较特别,同样一段中文比Qwen多算30%的token - 高峰期并发量大时,千帆的access_

多模型API统一路由的工程实践

最近在做AI产品接入,遇到一个实际问题:国内大模型供应商各有各的API规范。Qwen用DashScope格式,DeepSeek走OpenAI兼容,千帆和方舟又是另一套。我的方案是在服务端做一个统一路由层: 1. 客户端只对接一个标准接口 2. 服务端根据配置动态路由到不同供应商 3. 每个客户有独立API Key,余额扣费、用量统计在服务端完成 具体实现上,用轻量级网关层做协议转换。踩过的坑:千帆

多模型API统一路由的工程实践

最近在做AI产品接入,遇到一个实际问题:国内大模型供应商各有各的API规范。Qwen用DashScope格式,DeepSeek走OpenAI兼容,千帆和方舟又是另一套。我的方案是在服务端做一个统一路由层: 1. 客户端只对接一个标准接口 2. 服务端根据配置动态路由到不同供应商 3. 每个客户有独立API Key,余额扣费、用量统计在服务端完成 具体实现上,用轻量级网关层做协议转换。踩过的坑:千帆

多模型API统一路由的工程实践

最近在做AI产品接入,遇到一个实际问题:国内大模型供应商各有各的API规范。Qwen用DashScope格式,DeepSeek走OpenAI兼容,千帆和方舟又是另一套。我的方案是在服务端做一个统一路由层: 1. 客户端只对接一个标准接口 2. 服务端根据配置动态路由到不同供应商 3. 每个客户有独立API Key,余额扣费、用量统计在服务端完成 具体实现上,用轻量级网关层做协议转换。踩过的坑:千帆

到底了