本文介绍了机器学习的基本概念和主要任务。数据集由样本、特征和类别标签组成，如IRIS鸢尾花数据集包含150个样本，每个样本有4个特征和3个类别。机器学习任务主要包括分类（二分类、多分类、多标签分类）和回归。根据学习方式可分为监督学习（分类/回归）、无监督学习（聚类/降维/关联规则）、半监督学习和强化学习。数据可分为结构化（表格数据）和非结构化数据（图像/文本等）。文章还讨论了批量学习与在线学习的区

计算机从数据中学习规律并改善自身进行预测的过程数据：图片、文本、表格........举例：存在一个区分苹果是好是坏的任务，我们从市场上随机选取一些苹果，记住它们的特征（大小，形状，颜色，产地，含糖量.....），给这些苹果打个标签（好/坏）或者打个分数（7分/8分...），我们目的就是找到规律（即模型，比如我们含糖量高的苹果往往打分比较高），我们要怎么学习并且改善这个规律（使用损失函数，优化算法）

点击单元格 ---> 按M（进入Markdown模式， 按Y进入Code模式）----> 执行（shift + enter）concatenate()方法：使用该方法要保证合并的数组的维度是相同的，默认垂直方向上的合并。问题：数组x是由 1-n 数字组成，求数组x中所有数的平方之和（n自定义）concatenate()实现hstack()方法的功能。vstack()方法：实现竖直方向的合并。hst

对数组进行部分排序，指定一个索引位置，将该位置的元素作为分界点，前面的元素是数组中最小的几个元素，后面的元素保留原有顺序。: 计算数组的中位数，即将数组排序后中间位置的元素（如果元素个数是偶数，取中间两个元素的平均值。: 计算数组元素的方差，表示元素值与均值的偏离程度。: 计算数组的累积和，即每个元素与之前所有元素的和。: 计算数组元素的范围，即最大值与最小值之间的差。: 计算数组元素的标准差，衡

收入的数值过大，而年龄的数值过小导致年龄几乎不起作用，算法其实只在“看收入”，这样很不公平。举例：年龄（age:0 ~ 100岁），年收入（income:0 ～ 100000）或者取这 K 个样本的平均值（回归）：把原始数据按比例线性映射到一个。新样本就被分到那一类（分类）的监督学习算法，常用于。当使用欧氏距离计算时，

当真值y=1时，若p(预测的概率)越小，误差越大，反之越小。sigmod函数（激活函数）：把线性分布变换为非线性分布。逻辑回归是一个做「分类」的模型，而不是回归模型。当真值y=0时，若p越大，误差越大，反之越小。4、计算量小，内存低，可在线学。2、随机梯度下降快速训练。1、指数选择不当易过拟合。2、特征空间大时性能不好。3、容易欠拟合准确率不高。5、解决过拟合方法较多。1、处理不好特征间相关。1、

直接将读取的数据转化为numpy的二维数组格式，并使用中位数填充缺失值。，需要 reshape 成。

本文系统介绍了机器学习中的核心概念与实战应用。主要内容包括：1）损失函数类型（平方损失、对数损失、交叉熵等）及其数学表达；2）梯度下降优化算法原理及实现细节；3）决策边界的定义与可视化方法，通过sklearn实现二分类和多分类案例；4）过拟合/欠拟合问题分析，展示多项式回归从欠拟合到过拟合的全过程；5）学习曲线的绘制与解读方法；6）交叉验证技术及其在超参数调优中的应用。文章采用理论讲解与代码实现相

机器学习算法对于新鲜样本的适应能力（比如使用美颜照片训练模型，当面对无美颜的照片时能否测试准确）在不同分类阈值(thresholds)下，观察“预测为正的质量”和“找全正样本能力”之间的权衡。AUC 衡量的是：随机抽一个正样本和一个负样本，模型把正样本排在前面的概率。参数变小但不为 0（所有特征都保留，只是权重变小）所有真正的正样本中，被模型抓住了多少，Recall。（所有真实负样本中，被误判成正

特征选择、节点分裂（使用二叉树还是多叉树）、阈值确定。基尼系数 = 从节点里随机抽两个样本，它们类别不一样的概率。条件熵：在已知一个变量后，另一个变量还剩多少不确定性？联合熵：两个随机变量放在一起，有多不确定？信息增益：一个特征能给分类系统带来多少信息。熵：分布的混乱程度或分布程度。相对熵 = 交叉熵-信息熵。