logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

第12章Streaming(下):视频应用(1)——项目八:基于WebRTC+YOLO的实时目标检测

本章讲述流式传输的视频应用,主要包括三个示例:基于WebRTC+YOLO的实时目标检测、使用RT-DETR模型构建视频流目标检测系统、使用FastRTC+Gemini创建实时沉浸式音频+视频的艺术评论家,使用三个不同的模型,由浅入深实现视频目标检测、视频流传输、音频+视频结合应用。此外,本章用到的其他技术讲解包括:YOLO系列视频检测模型,实时端到端检测模型RT-DETR,多模态模型Gemini简

文章图片
#webrtc#目标检测
第14章 由Gradio构建MCP服务器与客户端—— 项目十一:MCP客户端配置Gradio文档的MCP服务器

MCP在当前人工智能领域大热,它是LLM打通最后一公里的连接标准,是LLM使用各类工具的粘合剂。本章将使用Gradio构建配置形式的MCP服务器与客户端,首先介绍MCP协议细节,包括MCP协议概念与架构组件、MCP功能协商与消息规范、MCP的传输层标准Stdio与Streamable HTTP。然后讲述本章重点:由Gradio应用的配置构建MCP服务器示例及其关键特性,MCP客户端的配置方法及示例

文章图片
第15章(2)——项目十三:使用Gradio MCP与Apps SDK构建ChatGPT应用——提亮图像

ChatGPT应用(🖇️[链接15-4])让用户能够在熟悉的聊天界面中,通过对话形式直接体验机器学习模型或其他应用。OpenAI已发布Apps SDK(🖇️[链接15-5])供开发者构建完整的应用程序,但借助Gradio MCP服务器,开发者可以基于Gradio极为快速地搭建ChatGPT应用。另外,Gradio内置的分享链接让构建ChatGPT应用极为便利。

文章图片
第15章 MCP高级功能与编码实现(1)——项目十二:构建代码形式的MCP客户端——生成图像

本章本片讲述MCP的高级功能,并编码实现MCP的服务器和客户端。首先讲述MCP服务器的高级功能身份凭证、进度更新与定制化工具;然后练习如何创建MCP资源、提示模板与纯MCP工具;接着使用代码实现多应用的FastMCP服务器并排查MCP服务器开发中的Bug;第四构建代码形式的使用stdio_client连接的MCP客户端;最后,使用Gradio与Apps SDK构建ChatGPT应用。

文章图片
第12章(3)——项目十:使用StreamHandler+GenAI+Gemini构建实时音频+视频艺术评论家

作为对本章知识的总结,本节将实现一个综合演示:让Gemini扮演艺术评论家,对用户通过FastRTC上传的艺术作品进行点评。

文章图片
#GenAI
第10章 Streaming(上):初级音频应用(1)——项目三:自建服务器的Mini-Omni实时语音聊天机器人

本章音频应用部分包括自动语音识别技术(ASR),自建服务器的Mini-Omni模型的对话式聊天机器人,Groq与带自动语音检测功能的多模态Gradio应用,Mistral实现流式传输音频的魔力8号球。除了拆解音频应用,还会详细介绍并实战大模型库Whisper、Mini-Omni、Groq和Mistral。此外,本章还会详细讲解用到的其他技术:@ricky0123/vad-web实现语音活动检测功能

文章图片
第12章(3)——项目十:使用StreamHandler+GenAI+Gemini构建实时音频+视频艺术评论家

作为对本章知识的总结,本节将实现一个综合演示:让Gemini扮演艺术评论家,对用户通过FastRTC上传的艺术作品进行点评。

文章图片
#GenAI
第16章(3)——项目十六:Gradio应用拓展为Website Widget

除了在Discord、Slack中使用Gradio App,还可以将Gradio应用作为聊天插件添加到网站中,比如Intercom等常见的客服工具。适合场景:①为文档页面添加AI助手;②在作品集或产品官网上提供互动帮助;③为Gradio应用创建自定义聊天界面。

文章图片
第16章(2)——项目十五:Gradio应用拓展为Slack Bot

Slack可以将人员、项目、应用和AI代理整合在一起,进行人员协作、项目管理、工具集成,并可使用人工智能Slack AI及智能代理Agentforce提供服务。将Gradio应用拓展到Slack,创建Slack Bot,让Slack工作区中的成员直接与之互动,下面逐步讲述部署过程。

文章图片
第16章 Gradio应用拓展为Discord Bot、Slack Bot和Website Widget(1)——项目十四:Gradio应用拓展为Discord Bot

为了拓展Gradio应用的使用范围,可以将Gradio应用部署到其他平台或嵌入到网站中。本章详细描述了三种拓展方式:Discord Bot、Slack Bot和Website Widget,分别讲述了各自的工作原理与前置条件、如何创建平台应用、编写机器人代码、将机器人安装到服务器并进行对话操作。这三个平台各有特色,Discord适合娱乐放松,Slack适合工作管理,而Website Widget适

文章图片
    共 39 条
  • 1
  • 2
  • 3
  • 4
  • 请选择