小爱音箱接入大模型，智能升级实践 一
·
#问题
小爱音箱回答太LOW，如果接入大模型，就智能多了。
#经过
通过咨询DeepSeek找到了MiGPT这个项目，然后经过配置实验：实现让计算机上运行的监听程序，登录到小米用户(userId)中，实时轮询到小爱音箱(did)听到的日志，捕捉到敏感词，然后大模型的API，拿到返回结果，通过小米云端“api2.mina.mi.com”，将ttsCommand发给小米云端，转发给小爱音箱发声。
#目前的问题：小爱音箱自己芯片，会抢先回答，经常打了两三个字之后再播放AI的回答，效果差。
#分析：
什么会被抢单？ 小爱音箱也是向云端发送问题→从云端服务器拿到答案→再播放出来的。 而我们是轮询小爱云端的日志，拿到日志→命中敏感词→请求大模型的API→拿到答案→发出发音指令。
#占用时间最大的两个节点：请求大模型API，拿到语音输入文本， 优化点：
- 在请求之前就要求小爱音箱闭嘴
- 调整轮询的时间间隔（受云端API的调用限制） 最优方案：监听小爱音箱与云端的通信，及时拿到请求文本。
deepseek推荐了xiaogpt这个项目，明天可以试试。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)