通过PULL命令只可以拉取官方商城维护的预训练模型，如果我们通过LLaMA-Factory等工具微调了一个垂类大模型，想通过Ollama来部署，该如何操作呢？

最后，我们再用通俗的话总结一下它的流程：1）输入语言文本给分词器；2）分词器拿到文本信息，根据具体的分词算法（例如：BPE）将文本划分为单个的词元（token）；3）根据对应的词汇表将每个词元对应唯一编码（token ID）；4）分词器输出这些唯一编码给Embeding词嵌入模型；到这里分词器的输入任务就完成了5）词嵌入模型将token ID映射到固定维度的语义空间，生成语义特征张量；6）将语义特

在选择切块工具时，应根据具体的文档类型、语言特点和应用场景进行选择。对于大多数场景，LangChain 和 Hugging Face 的工具链是非常不错的选择。同时，在切块过程中，务必注意语义完整性、块大小控制和重叠窗口的设置，以确保最终的知识库能够高效地支持检索和生成任务。

多模态大模型推理的全流程代码实现

RAG、工作流

从源码出发，一步一步定义、添加LoRA层，从代码层面观察LoRA是如何实现的

Step-Audio 是业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统，支持多语言对话（如 中文，英文，日语），语音情感（如 开心，悲伤），方言（如 粤语，四川话）等功能；: 单模型能实现理解生成一体化完成语音识别、语义理解、对话、语音克隆、语音生成等功能，开源千亿参数多模态模型 Step-Audio-Chat；

FunASR是阿里巴巴达摩院开源的一款轻量级语音识别工具包，旨在为开发者提供高效、易用的语音处理解决方案。它集成了多种先进的语音识别技术和模型，支持语音识别（ASR）、语音端点检测（VAD）、标点恢复、语言模型、说话人验证、说话人分离和多人对话语音识别等功能；任务名称主要目标应用场景技术特点ASR将语音转为文本字幕生成、语音助手声学模型+语言模型VAD检测语音活动语音信号预处理时间域或频域特征分析

Spark TTS完全基于Qwen2.5构建，无需额外的生成模型，它不依赖于单独的模型来生成声学特征，而是直接从LLM预测的代码中重建音频。这种方法简化了流程，提高了效率并降低了复杂性；支持零样本语音克隆，它可以直接复制说话者的语音。这是跨语言和代码转换场景的理想选择，允许语言和语音之间的无缝转换，而不需要对每种语言进行单独的培训；支持中文和英文两种语言，使模型能够以高自然度和准确性合成多种语言的

前面我们介绍了，并通过Open-WebUI进行调用，相信大家对Ollama也有了一定的了解；这篇博文就结合Ollama工具和CherryStudio工具构建一个本地知识库（RAG）；在进行接下来的操作之前，需要本地已经安装并配置好Ollama工具，还没有安装的小伙伴可以根据完成本地安装；