一. 汇丰学弟分享非计算机科班出身入门机器学习的经历

引用 https://www.bilibili.com/video/BV1eK411n7B6

1. 机器学习（深度学习）的基本概念，核心

1.1 概念

人工智能：理想

机器学习（ML）：理想实现的一种方式

深度学习（DL）：机器学习的一种方式

1.2 机器学习和经典程序设计的区别

1.2.1 经典程序设计

[Input]：规则，数据

[Output]：答案

1.2.2 机器学习

[Input]：数据，答案

[Output]：规则

1.3 深度学习的出现

1.3.1 硬件

从 1990 年到 2010 年，非定制 CPU 的速度提高了约 5000 倍。
因此，现在可以在笔记本电脑上运行小型的深度学习模型，但是在 25 年前是无法实现的。

1.3.2 数据

就数据而言，除了过去 20 年里存储硬件的指数级别增长（遵循摩尔定律），最大的变革来自于互联网的兴起，它使得收集和分发用于机器学习的超大型数据集变得可行。

深度学习是数据驱动型的，人工智能公司有一个很大的竞争就在于谁拥有数据。

1.3.3 算法

更好的优化方法，更好的激活函数，更好的网络结构

1.4 深度学习和机器学习学习误区

1.4.1 PPT人工智能

为了蹭热度，所有的问题上都说自己用了人工智能的手段，实际上对基本的原理和概念并不了解。

希望快速入门可以！
但不能投机取巧！

1.4.2 畏惧心理

畏惧编程，尤其是人工智能好像看起来很先进，觉得自己基础薄弱，不敢接触。实际上由于大公司的不断努力，开发出了很好的工具（如，Keras，Pytorch），机器学习编程门槛已经降低。

1.4.3 调包侠，参数侠

入门机器学习一段时间后，似乎可以调用已经现有的轮子实现一些机器学习算法，但是对于实现算法后的调整，仅限于微调参数

1.5 机器学习基本概念

结构化数据：一般分为特征和标签
根据数据集有标签、无标签，我们把机器学习任务分为，监督学习和无监督学习

监督学习：分类，回归

无监督学习：聚类

通俗讲监督学习：给你一堆各种各样的苹果，然后一直告诉你这些都是苹果，然后你学习到了什么是苹果。在人类和动物感知中，这通常被称为概念学习，这个学习过程在 AI 领域被称为监督学习。

通俗讲无监督学习：你认为红苹果，西红柿，红皮球有相似之处，然后告诉你，他们相似之处是 “红色”。在人类行为中，我们将这个过程称为归纳推理，这个过程在 AI 领域被称为无监督学习。

通俗讲增强学习：每次考试你都认真观察错题，并将其单独找出重新解答，直到得出正确答案，人类用思考和修正错误的方法，提升自己对知识的掌握和认知，在 AI 领域被称为增强学习。

此处引用 https://www.bilibili.com/video/BV14x411M7E9

1.6 机器学习分类

1.6.1 按照自动寻找表示的方式（算法）分类

线性回归算法
SVM
KNN
逻辑回归算法
决策树算法
K-Means
随机森林算法
朴素贝叶斯算法
降维算法
梯度增强算法

1.7 深度学习算法

数据：预处理（筛选）
网络：层（Layer）堆叠起来的网络（Model）
数据表示：损失函数（Loos Function）
自动寻找：优化器（Optimizer）

1.7.1 预处理

归一化处理，一般不需要进行特征工程

机器学习可以自己提取特征，不需要人为构造特征

1.7.2 网络

激活函数：

Sigmiod：将结果映射在 0 到 1 之间
tanh：将结果映射在 0 到 1 之间
ReLU：max(0, x)

损失函数：

衡量目标和预测之间的函数

预测问题：MSE

分类问题：交叉熵函数

优化器：

使得我们的损失函数越来越小
梯度下降

2. 工作流程

定义问题
准备数据：预处理（筛选，剔除）
构建网络：网络结构、确定损失函数、优化器的确定
验证模型：寻找最优参数
重新训练模型，投入使用

数据集分为三类：训练集，验证集，测试集

验证集的作用就是边学习边看，是否出现欠拟合或者过拟合的问题。