2024-2026 年是全球大语言模型（LLM）从 “技术爆发期” 向 “产业落地期” 的关键跃迁阶段 —— 这一判断并非空泛的行业总结，而是来自 Gartner 与 IDC 的联合测算：2024 年全球大模型市场规模已达 450 亿美元，2025 年攀升至 680 亿美元，2026 年预计突破 950 亿美元，三年复合增长率远超同期全球科技产业平均增速。

标注：官网｜Github｜HF地址｜主力版本｜协议｜商用｜特点｜部署显存参考(GGUF量化)

基于llama.cpp推理内核，主打，无需命令行即可完成模型下载、加载对话、本地API服务、简易RAG文档问答，个人免费商用，面向新手、本地AI爱好者快速落地端侧LLM。

LLM Wiki是大模型知识管理领域的范式创新，它跳出了传统RAG“检索+拼接”的固有思维，借鉴“编译原理”实现知识的前置加工与长期沉淀，以极简的文件架构、极低的落地成本、持续进化的知识能力，成为个人与小团队知识管理的优质方案。它的核心价值不在于取代RAG，而是弥补RAG在长期知识沉淀、体系化构建、轻量化运维上的短板。对于科研人员、开发者、终身学习者而言，LLM Wiki实现了“AI辅助建库、人机

基于llama.cpp推理内核，主打，无需命令行即可完成模型下载、加载对话、本地API服务、简易RAG文档问答，个人免费商用，面向新手、本地AI爱好者快速落地端侧LLM。

Mac 和 Windows 都有，免费的，双击装上。安装后新建配置，供应商选 DeepSeek，粘贴 API Key，填好模型名称，保存启动就行。• 这里raw目录就是存放我们自己的原始文档的目录，这个目录AI没有帮我们初始化是因为我们每个人存放整理笔记的思路是不一样的，这里我们就按照自己的历史习惯来就行。先去 GitHub 下载一个桌面工具叫 CC Switch，专门管理 Claude Code

Mac 和 Windows 都有，免费的，双击装上。安装后新建配置，供应商选 DeepSeek，粘贴 API Key，填好模型名称，保存启动就行。• 这里raw目录就是存放我们自己的原始文档的目录，这个目录AI没有帮我们初始化是因为我们每个人存放整理笔记的思路是不一样的，这里我们就按照自己的历史习惯来就行。先去 GitHub 下载一个桌面工具叫 CC Switch，专门管理 Claude Code

LLM Wiki是大模型知识管理领域的范式创新，它跳出了传统RAG“检索+拼接”的固有思维，借鉴“编译原理”实现知识的前置加工与长期沉淀，以极简的文件架构、极低的落地成本、持续进化的知识能力，成为个人与小团队知识管理的优质方案。它的核心价值不在于取代RAG，而是弥补RAG在长期知识沉淀、体系化构建、轻量化运维上的短板。对于科研人员、开发者、终身学习者而言，LLM Wiki实现了“AI辅助建库、人机

基于llama.cpp推理内核，主打，无需命令行即可完成模型下载、加载对话、本地API服务、简易RAG文档问答，个人免费商用，面向新手、本地AI爱好者快速落地端侧LLM。

端侧AI：把AI模型轻量化后装在手机、电脑、车机、摄像头等硬件里，数据在本机直接运算推理，不用上传云端服务器。专门用来跑AI、端侧大模型的专用芯片，CPU/GPU干AI活低效，NPU天生算神经网络，手机、AIPC、车机、边缘盒子标配。无NPU：只能CPU慢跑模型，卡顿、占用大量资源；有NPU：AIPC/手机流畅离线跑7B、8B大模型。相关名词NPUGPU异构：NPU负责AI推理，GPU负责绘图渲染