在统计学和机器学习中，最大似然估计（Maximum Likelihood Estimation，简称 MLE）是一种用于估计模型参数的方法，其核心思想是：在给定观测数据的情况下，选择使得数据出现概率最大的模型参数。

这一篇文章，我们主要来理解一下，什么是线性回归中的简单回归和多元回归，顺便掌握一下特征向量的概念。

梯度下降法是优化问题中常用的算法，根据其更新方式和数据处理的特点，主要分为批量梯度下降法，随机梯度下降法，小批量梯度下降法

最近在学习机器学习的过程中，发现数学期望在理解一些相关概念时都需要用到，因此对大学时学过的数学期望和方差进行了复习和整理，以加深理解，提高学习效率。

线性模型是机器学习中应用最广泛的模型，指通过样本特征的线性组合来进行预测的模型。本文我们来学习线性模型的种类：回归问题和分类问题，并了解涉及的几个概念：决策函数、判别函数和符号函数。

经验风险最小化（Empirical Risk Minimization，简称 ERM）是机器学习中的一种基本理论框架，用于指导模型的训练过程。其核心思想是通过最小化训练数据上的损失函数来优化模型参数，从而提高模型在训练集上的表现。

机器学习之基本概念 - 数据集、训练集、特征向量、独立同分布的

超平面（hyperplane）是几何学中的一个基本概念，尤其在高维空间和机器学习中具有重要作用。要理解超平面，需要从其定义、几何意义、数学描述以及实际应用的角度来分析。

在机器学习中，凸函数 和 凸优化 是优化问题中的重要概念，许多机器学习算法的目标是优化一个凸函数。这些概念的核心思想围绕着优化问题的简化和求解效率。

机器学习之基本概念 - 特征、标签、样本