这份文档是一份关于Hiwonder幻尔科技的多模态大模型教程,主要介绍了如何获取和配置大模型API-Key,以及如何通过语音控制、自主巡线和颜色追踪等功能实现多模态大模型的应用。以下是文档内容的详细列出以及对应的具体内容和互联网上的关键引用:

1. 大模型API-Key获取及配置

1.1 阿里云大模型账号注册和API密钥获取及配置
  • 注册账号:通过阿里云官网注册账号,并完成实名认证。
  • 部署并测试在线大模型:注册完成后,通过阿里云平台开通服务并测试大模型。
  • API密钥获取:在阿里云平台上创建API-KEY,并将其配置到程序中。
  • 部署密钥:将获取的API-KEY放置到程序的配置文件中。
1.2 部署阶跃星辰API
  • 获取key:通过阶跃星辰开放平台获取API密钥。
  • 配置方法:将获取的API密钥配置到程序中。

2. 多模态大模型之语音控制

2.1 玩法简介
  • 通过语音控制机器人小车运动,例如“向前走两步”。
  • 机器人通过阿里云ASR的API将语音转换成文字,并输入给大模型思考。
2.2 准备工作
  • 确认WonderEcho Pro固件:确保固件版本正确。
  • 配置大模型相关key:配置API密钥。
  • 配置网络:确保机器人联网。
2.3 玩法步骤
  • 启动机器人,连接到远程控制软件VNC。
  • 输入指令关闭自启,启动玩法。
  • 说出唤醒词激活WonderEcho Pro,然后通过语音控制机器人。
2.4 实现效果
  • 机器人可以根据语音指令执行前进、后退、转弯等动作。
2.5 程序分析
  • 主程序逻辑包括语言检测、语义理解、功能执行和应答播报等功能。

3. 多模态大模型之自主巡线

3.1 玩法简介
  • 通过语音控制机器人巡线,例如“沿着黑色的线前行”。
3.2 准备工作
  • 确认WonderEcho Pro固件:确保固件版本正确。
  • 配置大模型相关key:配置API密钥。
  • 配置网络:确保机器人联网。
3.3 玩法步骤
  • 启动机器人,连接到远程控制软件VNC。
  • 输入指令关闭自启,启动玩法。
  • 说出唤醒词激活WonderEcho Pro,然后通过语音控制机器人巡线。
3.4 实现效果
  • 机器人可以沿着黑色线条移动,超过5秒检测不到线条或重新唤醒时退出巡线任务。
3.5 程序分析
  • 主程序逻辑包括语言检测、语义理解、功能执行和应答播报等功能。

4. 多模态大模型之颜色追踪

4.1 玩法简介
  • 通过语音控制机器人追踪特定颜色的物体,例如“追踪红色的色块”。
4.2 准备工作
  • 确认WonderEcho Pro固件:确保固件版本正确。
  • 配置大模型相关key:配置API密钥。
  • 配置网络:确保机器人联网。
4.3 玩法步骤
  • 启动机器人,连接到远程控制软件VNC。
  • 输入指令关闭自启,启动玩法。
  • 说出唤醒词激活WonderEcho Pro,然后通过语音控制机器人追踪颜色。
4.4 实现效果
  • 机器人可以追踪红色色块,超过5秒检测不到色块或重新唤醒时退出追踪任务。
4.5 程序分析
  • 主程序逻辑包括语言检测、语义理解、功能执行和应答播报等功能。

互联网上的关键引用

  • 阿里云大模型阿里云通义大模型 提供了多种大模型服务,包括语音识别、自然语言处理等。
  • WonderEcho Pro:Hiwonder幻尔科技的WonderEcho Pro是一款支持语音交互的机器人,可以通过语音控制实现多种功能。
  • ROS2开发环境ROS2 是一个用于机器人应用开发的框架,支持多种编程语言和操作系统。
  • VNC远程控制VNC 是一种远程控制软件,可以用于连接和控制远程计算机或设备。

这份教程详细介绍了如何通过阿里云大模型和Hiwonder幻尔科技的硬件实现多模态大模型的应用,包括语音控制、自主巡线和颜色追踪等功能。

更多推荐