
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本章讲述流式传输的视频应用,主要包括三个示例:基于WebRTC+YOLO的实时目标检测、使用RT-DETR模型构建视频流目标检测系统、使用FastRTC+Gemini创建实时沉浸式音频+视频的艺术评论家,使用三个不同的模型,由浅入深实现视频目标检测、视频流传输、音频+视频结合应用。此外,本章用到的其他技术讲解包括:YOLO系列视频检测模型,实时端到端检测模型RT-DETR,多模态模型Gemini简

MCP在当前人工智能领域大热,它是LLM打通最后一公里的连接标准,是LLM使用各类工具的粘合剂。本章将使用Gradio构建配置形式的MCP服务器与客户端,首先介绍MCP协议细节,包括MCP协议概念与架构组件、MCP功能协商与消息规范、MCP的传输层标准Stdio与Streamable HTTP。然后讲述本章重点:由Gradio应用的配置构建MCP服务器示例及其关键特性,MCP客户端的配置方法及示例

ChatGPT应用(🖇️[链接15-4])让用户能够在熟悉的聊天界面中,通过对话形式直接体验机器学习模型或其他应用。OpenAI已发布Apps SDK(🖇️[链接15-5])供开发者构建完整的应用程序,但借助Gradio MCP服务器,开发者可以基于Gradio极为快速地搭建ChatGPT应用。另外,Gradio内置的分享链接让构建ChatGPT应用极为便利。

本章本片讲述MCP的高级功能,并编码实现MCP的服务器和客户端。首先讲述MCP服务器的高级功能身份凭证、进度更新与定制化工具;然后练习如何创建MCP资源、提示模板与纯MCP工具;接着使用代码实现多应用的FastMCP服务器并排查MCP服务器开发中的Bug;第四构建代码形式的使用stdio_client连接的MCP客户端;最后,使用Gradio与Apps SDK构建ChatGPT应用。

作为对本章知识的总结,本节将实现一个综合演示:让Gemini扮演艺术评论家,对用户通过FastRTC上传的艺术作品进行点评。

本章音频应用部分包括自动语音识别技术(ASR),自建服务器的Mini-Omni模型的对话式聊天机器人,Groq与带自动语音检测功能的多模态Gradio应用,Mistral实现流式传输音频的魔力8号球。除了拆解音频应用,还会详细介绍并实战大模型库Whisper、Mini-Omni、Groq和Mistral。此外,本章还会详细讲解用到的其他技术:@ricky0123/vad-web实现语音活动检测功能

作为对本章知识的总结,本节将实现一个综合演示:让Gemini扮演艺术评论家,对用户通过FastRTC上传的艺术作品进行点评。

除了在Discord、Slack中使用Gradio App,还可以将Gradio应用作为聊天插件添加到网站中,比如Intercom等常见的客服工具。适合场景:①为文档页面添加AI助手;②在作品集或产品官网上提供互动帮助;③为Gradio应用创建自定义聊天界面。

Slack可以将人员、项目、应用和AI代理整合在一起,进行人员协作、项目管理、工具集成,并可使用人工智能Slack AI及智能代理Agentforce提供服务。将Gradio应用拓展到Slack,创建Slack Bot,让Slack工作区中的成员直接与之互动,下面逐步讲述部署过程。

为了拓展Gradio应用的使用范围,可以将Gradio应用部署到其他平台或嵌入到网站中。本章详细描述了三种拓展方式:Discord Bot、Slack Bot和Website Widget,分别讲述了各自的工作原理与前置条件、如何创建平台应用、编写机器人代码、将机器人安装到服务器并进行对话操作。这三个平台各有特色,Discord适合娱乐放松,Slack适合工作管理,而Website Widget适








