这篇文章介绍了如何利用Ollama在本地运行大模型、Embedding和Rerank，适合企业知识库、内部问答等需要数据不出内网的RAG项目。文章首先区分了LLM、Embedding和Rerank三种模型的不同作用，详细说明了Ollama的安装方法和基础命令，并推荐从qwen3系列开始体验本地大模型。重点讲解了Embedding模型在RAG中的关键作用及其下载方法，包括qwen3-embeddin

本文记录了将draw.io的MCP功能接入VS Code Codex并生成带动画连接器的LSTM架构图的全过程。测试证实：1) MCP服务器可在VS Code中正常运行；2) 生成的图表是真正的draw.io工程文件而非静态图片；3) 动画连接器等复杂效果能完整保留到导出的SVG文件中。文章详细介绍了配置方法、技术实现原理以及最终的测试结果，验证了AI直接生成可编辑、可交付的专业图表的可行性。

这篇文章介绍了独立开发者最应该关注的5个Codex官方用例，帮助解决独立开发中的常见痛点： 复杂问题迭代优化 - 建立带评测的迭代循环，解决需要多轮调试的问题 前端设计打磨 - 提升页面完成度，处理响应式细节 API集成升级 - 安全迁移旧接口，避免隐性破坏 代码库理解 - 快速重建项目认知，梳理关键流程 ChatGPT应用对接 - 为产品寻找自然入口 文章强调Codex的价值不仅在于代码生成，更

摘要 本文深入探讨了开源Embedding模型的全景选型与落地实践，为RAG系统构建者提供了一套完整的技术框架。文章将当前主流开源Embedding模型划分为4个梯队：多语言/长上下文型、中文优化型、英文工程型和指令感知型，并详细分析了包括Qwen3、BGE-M3、gte-multilingual等11个重点模型的特点及适用场景。作者强调选型需考虑语言特性、文档长度、检索类型等五大关键问题，并提供

文章摘要 本文是《大模型知识与部署》系列第21篇，聚焦AI硬件选型中的GPU选择策略。作者指出GPU采购占大模型团队70-90%的成本，错误决策可能导致百万级损失。文章系统分析了主流GPU（A100/H100/H200/B200/4090/910B等）在算力、显存、互联、功耗和价格五个维度的关键参数，并给出典型选型场景建议：H100当前性价比最优，H200适合长上下文推理，B200面向未来训练，4

文章摘要 本文是《大模型知识与部署》系列第21篇，聚焦AI硬件选型中的GPU选择策略。作者指出GPU采购占大模型团队70-90%的成本，错误决策可能导致百万级损失。文章系统分析了主流GPU（A100/H100/H200/B200/4090/910B等）在算力、显存、互联、功耗和价格五个维度的关键参数，并给出典型选型场景建议：H100当前性价比最优，H200适合长上下文推理，B200面向未来训练，4

大模型演进与技术全景图 本文系统梳理了大模型从2017年Transformer诞生到2026年的完整演进历程，揭示了当前大模型工程化的复杂技术栈。文章指出，大模型已从简单的API调用发展为包含训练、部署、应用的全链路基础设施，涉及模型选型、推理优化、成本控制等核心挑战。作者通过时间线展示了关键技术节点，包括GPT-3的Scaling Law、ChatGPT的RLHF突破，以及开源生态的崛起。本文作

在上一篇《大模型时代全景图》里，我们梳理了从 2017 年 Transformer 论文到 2026 年大模型生态的完整演进。过去八年所有的大模型——GPT、Claude、Llama、Qwen、DeepSeek——本质上都是 Transformer 的变体。这一篇我们就来彻底搞懂 Transformer。但这不是一篇"复现论文"的文章。论文级的推导网上已经太多，多数读者读完仍然不知道这玩意儿在生产

文章摘要 Tokenizer是大模型系统中关键但常被忽视的组件，直接影响API费用、上下文窗口容量和模型性能。本文深入解析了BPE、BBPE、WordPiece和SentencePiece等主流分词算法： BPE：通过合并高频字符对构建词表，平衡了词级和字符级的优缺点，被GPT系列采用 BBPE：在字节级别进行BPE，实现真正的多语言支持，成为Llama等模型的选择 WordPiece：BERT系

摘要 本文深入解析了大模型预训练的核心要素及其工程实践： 预训练三大支柱：数据（决定模型知识边界）、算力（决定模型规模）、算法（决定资源利用效率）。15T tokens成为主流训练数据量级，数据质量与配比直接影响模型能力倾向。 数据工程关键：工业级数据清洗需经历去重（50%+网络内容重复）、质量过滤（PPL/分类器）、安全过滤、PII脱敏等步骤。不同模型通过数据配比实现差异化（如Qwen中文30%