多模态大模型推理的全流程代码实现

RAG、工作流

从源码出发，一步一步定义、添加LoRA层，从代码层面观察LoRA是如何实现的

Step-Audio 是业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统，支持多语言对话（如 中文，英文，日语），语音情感（如 开心，悲伤），方言（如 粤语，四川话）等功能；: 单模型能实现理解生成一体化完成语音识别、语义理解、对话、语音克隆、语音生成等功能，开源千亿参数多模态模型 Step-Audio-Chat；

FunASR是阿里巴巴达摩院开源的一款轻量级语音识别工具包，旨在为开发者提供高效、易用的语音处理解决方案。它集成了多种先进的语音识别技术和模型，支持语音识别（ASR）、语音端点检测（VAD）、标点恢复、语言模型、说话人验证、说话人分离和多人对话语音识别等功能；任务名称主要目标应用场景技术特点ASR将语音转为文本字幕生成、语音助手声学模型+语言模型VAD检测语音活动语音信号预处理时间域或频域特征分析

Spark TTS完全基于Qwen2.5构建，无需额外的生成模型，它不依赖于单独的模型来生成声学特征，而是直接从LLM预测的代码中重建音频。这种方法简化了流程，提高了效率并降低了复杂性；支持零样本语音克隆，它可以直接复制说话者的语音。这是跨语言和代码转换场景的理想选择，允许语言和语音之间的无缝转换，而不需要对每种语言进行单独的培训；支持中文和英文两种语言，使模型能够以高自然度和准确性合成多种语言的

前面我们介绍了，并通过Open-WebUI进行调用，相信大家对Ollama也有了一定的了解；这篇博文就结合Ollama工具和CherryStudio工具构建一个本地知识库（RAG）；在进行接下来的操作之前，需要本地已经安装并配置好Ollama工具，还没有安装的小伙伴可以根据完成本地安装；

Milvus 是一款开源的向量数据库，其高性能、分布式、专为 AI 和机器学习设计的向量数据库，广泛应用于推荐系统、图像检索、自然语言处理等领域；它支持多种数据类型（如图片、文本、音频等）的嵌入式表示，并提供快速的相似性搜索能力；1.1 核心功能：支持基于距离度量（如欧几里得距离、余弦相似度等）的高效查询。能够轻松处理数十亿甚至上百亿的向量数据。支持水平扩展，满足高性能和高并发需求。可以处理图像、

FunASR是阿里巴巴达摩院开源的一款轻量级语音识别工具包，旨在为开发者提供高效、易用的语音处理解决方案。它集成了多种先进的语音识别技术和模型，支持语音识别（ASR）、语音端点检测（VAD）、标点恢复、语言模型、说话人验证、说话人分离和多人对话语音识别等功能；任务名称主要目标应用场景技术特点ASR将语音转为文本字幕生成、语音助手声学模型+语言模型VAD检测语音活动语音信号预处理时间域或频域特征分析

假设我们想要实现一个自定义的ReLU6操作符。ReLU6是一种常用的激活函数，它与标准的ReLU类似，但有一个上限值 6。首先，我们需要在 C++ 中实现这个自定义操作符，并编译成一个共享库。PyTorch 提供了接口来注册自定义操作符，而 ONNX 则提供了来注册自定义操作符。我们可以在 C++ 中实现ReLU6操作符，并通过 PyTorch 的// 定义自定义的 ReLU6 操作符// 注册自