带你穿越NLP发展史，理解为什么我们需要大语言模型，以及它们如何从"词袋"进化到"大脑"。

摘要：语言处理的数学化——分词与嵌入 本章探讨了大型语言模型(LLM)处理人类语言的核心技术。首先介绍了分词(Tokenization)技术，对比了字符级、词级和现代主流的子词级分词方案，重点分析了BPE、WordPiece和SentencePiece三种主流算法的原理及优劣。子词分词通过平衡词表大小与语义完整性，有效解决了OOV(未知词)问题。随后讲解了嵌入(Embedding)技术如何将分词结

本文摘要： 《与模型对话：提示工程基础》系统介绍了与语言模型交互的核心技术。首先解析了高质量提示的四大要素：角色设定、明确指令、上下文背景和输出格式规范。重点讲解了Zero-shot直接提问和Few-shot示例引导两种核心方法，并提供了Few-shot的最佳实践建议。文章深入探讨了思维链(CoT)技术，通过让模型展示推理过程来提升复杂问题的解决能力。还介绍了ReAct模式、结构化输出、采样参数控

摘要 本章深入探讨了机器学习的两大核心流派——频率派与贝叶斯派的本质差异。频率派将参数视为固定常量，采用极大似然估计(MLE)方法，容易在小数据量下过拟合；贝叶斯派则将参数看作随机变量，通过引入先验分布和贝叶斯定理获得后验分布，其最大后验估计(MAP)能有效避免过拟合。以抛硬币问题为例，推导展示了MLE的缺陷和贝叶斯先验的约束作用，特别是Beta分布作为二项分布共轭先验的数学优雅性。本章还揭示了正

本文摘要： 本章系统介绍了机器学习所需的线性代数基础知识，重点围绕四个核心主题展开： 基础数据结构：从标量、向量到矩阵和张量，建立多维数学对象的表示体系，强调稀疏矩阵在实践中的重要性。 核心运算机制：详细讲解矩阵乘法、内积和哈达玛积的数学定义与几何意义，阐明转置、逆矩阵和伪逆的计算方法及应用场景。 向量空间理论：深入解析线性组合、基、维度、秩等概念，建立四个基本子空间的理论框架，为后续算法提供数学

矩阵分解将复杂的矩阵表示为简单矩阵的乘积，揭示矩阵的内在结构。这是线性代数最强大的工具之一。对于方阵 A∈Rn×n\mathbf{A} \in \mathbb{R}^{n \times n}A∈Rn×n，若存在非零向量 v\mathbf{v}v 和标量 λ\lambdaλ 使得：Av=λv\mathbf{A}\mathbf{v} = \lambda \mathbf{v}Av=λv则称 v\math

与前序章节的联系：考虑经典的 XOR (异或) 问题：问题：在二维平面上，不存在一条直线能够将两个类别分开。无论你怎么尝试，任何线性分类器 w1x1+w2x2+b=0w_1 x_1 + w_2 x_2 + b = 0w1​x1​+w2​x2​+b=0 都会犯错。这是线性模型的根本局限。定义映射 ϕ:R2→R3\phi: \mathbb{R}^2 \to \mathbb{R}^3ϕ:R2→R3：ϕ(

本文介绍了支持向量机(SVM)的核心理论和推导过程。SVM通过最大化分类间隔来提高泛化能力，将问题转化为凸优化问题。文章详细阐述了： 几何间隔与函数间隔的区别，以及如何将最大化间隔转化为最小化权重的优化问题 对偶问题的推导过程，说明其对优化求解的便利性 软间隔SVM的引入，通过松弛变量处理非线性可分数据 SVM与Hinge Loss+L2正则化的等价关系 SVM因其坚实的数学理论基础和优异的分类性

与前序章节的联系：RBF 核 (Radial Basis Function Kernel) 或高斯核 (Gaussian Kernel)：K(x,z)=exp⁡(−γ∥x−z∥2)K(x, z) = \exp\left(-\gamma \|x - z\|^2\right)K(x,z)=exp(−γ∥x−z∥2)其中 γ>0\gamma > 0γ>0 是带宽参数。常见形式（γ=12σ2\gamma

本文介绍了机器如何通过线性回归模型自动学习数据规律的过程。首先以学习时间和考试成绩为例，定义了一个简单的线性模型y=wx。然后通过两种方法寻找最优权重w：(1)暴力穷举法，遍历所有可能的w值计算损失；(2)梯度下降法，利用导数信息逐步优化w值。文章详细推导了梯度下降的数学原理，并提供了Python实现代码。最后对比了批量梯度下降和随机梯度下降的特点，并预告了下一章将介绍神经网络中的反向传播算法。整