课程主线建立：工智能、机器学习、神经网络、深度学习之间到底是什么关系。统视觉算法中“数据采集—预处理—特征提取—特征选择—学习推理”的过程。人类视觉系统和分层网络展示了从像素到边缘、部件、物体模型的层级特征。传统机器学习像是“人先想好特征，再让机器学习规律”；深度学习更像是“把特征学习也交给模型”。当然，这并不意味着深度学习完全不需要人的设计，网络结构、损失函数、优化器、数据增强等仍然需要人工经验

本节课程主要围绕强化学习的基本思想、智能体与环境的交互机制、探索与利用问题、多臂老虎机问题、马尔可夫决策过程以及值迭代和策略迭代展开。通过本节课学习，我对强化学习与传统的监督学习、无监督学习之间的区别有了更清晰的认识，同时也了解了马尔可夫决策过程这一强化学习的重要数学框架。监督学习：使用有标签的数据来训练模型，学习输入与目标输出之间的映射关系训练数据没有标签（只有输入），让机器自主发觉数据的内在结