1.降维介绍保证数据所具有的代表性特性或分布的情况下，将高维数据转化为低维数据。聚类和分类都是无监督学习的典型任务，任务之间存在关联，比如某些高维数据的分类可以通过降维处理更好的获得。降维过程可以被理解为数据集的组成成分进行分解（decomposition）的过程，因此sklearn为降维模块命名为decomposition。在对降维算法调用需要使用sklearn.decomposition模块2

1.聚类的基本有关概念聚类分析：将物理或抽象对象的集合分成相似的对象类的过程称为聚类。簇：数据对象的集合，对象与同一簇中的对象批次相似，而与其他簇中的对象相异。无监督学习：没有事先定义好的类典型应用：①作为获得数据集中数据分布的工具②作为其他数据挖掘算法的预处理步骤2.聚类方法的分类①基于划分的聚类（partitioning methods）：给定一个由n个对象组成的数据集合，对此数据集合构建k个

1.概念介绍：图像识别（Image Recognition）是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术。 图像识别的发展经历了三个阶段：文字识别、数字图像处理与识别、物体识别。机器学习领域一般将此类识别问题转化为分类问题。手写识别是常见的图像识别任务。计算机通过手写体图片来识别出图片中的字，与印刷字体不同的是，不同人的手写体风格迥异，大小不一， 造成了计算机对手

1.概念引力波：物理学中，引力波是因为时空弯曲对外以辐射形式传播的能量爱因斯坦基于广义相对论预言了引力波的存在2015年9月14日，LIGO合作组宣布探测到首个引力波信号。 2016年6月16日，LIGO合作组宣布2015年12月26日03:38:53（UTC），两台不同位置的引力波探测器同时探测到了一个引力波信号。import numpy as npimport matplotlib.pypl.

1.概念引力波：物理学中，引力波是因为时空弯曲对外以辐射形式传播的能量爱因斯坦基于广义相对论预言了引力波的存在2015年9月14日，LIGO合作组宣布探测到首个引力波信号。 2016年6月16日，LIGO合作组宣布2015年12月26日03:38:53（UTC），两台不同位置的引力波探测器同时探测到了一个引力波信号。import numpy as npimport matplotlib.pypl.

一、神经网络的搭建神经网络的实现过程： 1、准备数据集，提取特征，作为输入喂给神经网络（Neural Network，NN） 2、搭建 NN 结构，从输入到输出（先搭建计算图，再用会话执行） （ NN 前向传播算法 ——>计算输出） 3、大量特征数据喂给 NN，迭代优化 NN 参数 （ NN 反向传播算法 ——> 优化参数训练模型） 4、使用训练好的模型预测和分类 基于

一、神经网络的搭建神经网络的实现过程： 1、准备数据集，提取特征，作为输入喂给神经网络（Neural Network，NN） 2、搭建 NN 结构，从输入到输出（先搭建计算图，再用会话执行） （ NN 前向传播算法 ——>计算输出） 3、大量特征数据喂给 NN，迭代优化 NN 参数 （ NN 反向传播算法 ——> 优化参数训练模型） 4、使用训练好的模型预测和分类 基于

将数据集分为两个子集：训练集 - 用于训练模型的子集。测试集 - 用于测试训练后模型的子集。如果只有一个数据集的话，可以将数据集分开：图 1. 将单个数据集拆分为一个训练集和一个测试集。但要确保测试集满足以下两个条件：规模足够大，可产生具有统计意义的结果。能代表整个数据集。换言之，挑选的测试集的特征应该与训练集的特征相同。假设测试集满足上述两个条件，目标是创建一个能够很好地泛化到新数据的模型。我们

学习了牛琨老师的课程后整理的学习笔记，用于日后复习一、大数据预处理的几个步骤1.数据预处理 2.数据清洗 3.数据集成 4.数据归约 5.数据变换  6.数据离散化 7.大数据预处理二、数据预处理现实中的数据大多是“脏”数据：①不完整 缺少属性值或仅仅包含聚集数据②含噪声 包含错误或存在偏离期望的离群值 比如：salary=“-10”，明显是错误数据③不一致 用于商品分类的部门编码存在差异 比如a

1.概念介绍图像分割：利用图像的灰度、颜色、纹理、形状等特征，把图像分成若 干个互不重叠的区域，并使这些特征在同一区域内呈现相似性，在不同的区 域之间存在明显的差异性。然后就可以将分割的图像中具有独特性质的区域 提取出来用于不同的研究。图像分割技术已在实际生活中得到广泛的应用。例如：在机车检验领域， 可以应用到轮毂裂纹图像的分割，及时发现裂纹，保证行车安全；在生物医 学工程方面，对肝脏CT图像进行