在AI技术的浪潮中，每个人都不甘落后。Qwen已经出到2.5了，上次我源码部署还是Qwen1.5。一直以来，部署和搭建环境都耗时耗力，最近试用了Ollama，作为一款新兴的AI模型搭建神器，10分钟就能本地搭建好Qwen2.5的大语言模型并使用，真的让我赞叹。

ChatGLM3是智谱AI和清华大学KEG实验室联合发布的对话预训练模型。ChatGLM3-6B是ChatGLM3系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B引入了如下特性：

Ollama 是一个可在用户本地LLM部署的开源平台，支持Linux、Windows等多平台部署，如果基于 Docker 安装 Ollama 可以简化后续的配置步骤。Ollama支持 GPU加速，可显著提升性能。例如，在华为云的ECS上部署时，可以使用带有N卡的GPU加速型实例来运行Ollama容器。

Ollama和llama.cpp都是比较常见的本地部署大模型的工具，借助他们普通的笔记本也可以跑大模型。 Ollama和llama.cpp名字里面都带了个llama容易造成选择困难。本文希望能借助一个实际的例子，帮助你快速做出选择。

我们平时使用的ChatGPT、kimi、豆包等Ai对话工具，其服务器都是部署在各家公司的机房里，如果我们有一些隐私数据发到对话中，很难保证信息是否安全等问题，如何在保证数据安全的情况下，又可以使用大语言模型，Ollma可以告诉你答案！

三分钟让你学会使用Dify接入Ollama部署的本地大模型！

今天要分享的是：如何从 0 到 1 快速搭建一个私人 AI 知识库。 为什么会有这个想法 ? 源于平时我有个习惯，看到有价值的内容就喜欢存下来，工具呢，也用的比较多，导致有用的信息都比较分散。有时突然想找个东西，一顿翻箱倒柜，最后也没找着。

在人工智能的发展历程中，通用人工智能（AGI）一直是研究者们追求的终极目标，AGI旨在构建一个能够像人类一样在多种领域和任务中表现出智能的系统。2023年来，随着 AI 研究的不断进步，AGI的发展叙事逐渐清晰：从处理单一 模态信息的单模态模型，到融合多种模态信息的多模态模型，再到以多模态模型为底模、能够自主规划和执行任务的Agent，发展到能与现实世界深度交互的具身智能、能探索前沿科学的 AI

这篇文章主要介绍如何使用 ollama 在本地部署大模型服务。更多关于大模型相关，如模型解读、模型微调、模型部署、推理加速等。

本文系统解析了AI Agent四大部署模式：批处理适合大规模数据处理，流处理实现实时数据流分析，实时部署提供即时交互服务，边缘部署保障隐私与低延迟。通过实际案例、技术工具链和实施细节，为技术决策者提供可落地的部署策略，帮助企业在成本、性能和安全性间找到最佳平衡点，最大化AI Agent的商业价值。