啥是机器学习

机器学习就是自动寻找对应的函数关系，包括语音识别，图像识别，阿尔法go，对话系统等。

我们怎样告诉机器我们想找的函数表达式？？

监督式学习：必须利用一些分好类的数据进行学习。
下图的蓝框中的四张图片是我们的训练集，也是我们心里所认知的正确的输入和输出。

当用f1作为函数时，该函数的输出全是狗，显然错了一半，也就是百分之五十，那么这个f1就不太好了，机器就会去寻找另一个函数，比如找到了f2，这时输出结果两猫两狗，错误率为0，那么这个f2就被找到了，以后就可以将全新的猫狗图片作为输入，用该f2去推断它是猫是狗。当然，错误率一般不会为0，总之错误率越低越好。

强化学习：强化学习不需要历史数据，而是全程由机器自己去试探。

监督式学习与强化学习有何不同？

如上图，我们拿下围棋举例，监督学习必须要告诉他许多历史数据，比如第一个棋盘，下一步应该下到5-5的位置，第二个棋盘下一步应该下到3-3的位置，然后机器通过这些历史数据，然后去寻找函数；而强化学习并不需要历史数据，而是让机器自己跟自己下棋，或者机器跟别人下棋，当机器赢的时候，他会自己分析自己是怎么赢的，分析每一步该怎么走，多下几次，机器就会知道怎么走可以赢了。
非监督式学习：提供历史数据，但不给标注，比如只提供图片，但不提供这些图片是什么类型，要让机器自己去进行聚类。

基本术语

上面的那些概念我就拿上图这个数据集来解释，比如说上图表示人类通过(色泽，根蒂，敲声)这个三维特征向量来判断瓜的好坏，瓜的好坏被称为标记，也就是机器学习上述四条经验，俗称进行训练，这时机器就有了一定的经验了，当传入一条新的特征向量时，机器就会根据自己的经验对传入的这个瓜的特征进行判断，最终得出是否是好瓜，这是监督方式学习，因为原始经验里已经有了明确的好瓜与坏瓜之分，近期只需将新来的瓜往已有的分类里放就行了。

聚类是非监督式学习，也就是事先根本没有好瓜这一列标记，仅仅只有(色泽，根蒂，敲声)的数据，那么机器会进行判断，将这些三维向量所代表的瓜进行聚类，也就是根据这些特征值将瓜按照某种关系划分为若干不知名的类别，比如说划分成了类别1，类别2，类别3，这时，才由人类去赋予这三个类别的名称，比如南京瓜，上海瓜，成都瓜，再说简单点，就是人类直接丢给机器一堆数据，就连人类自己也不知道会有哪些类别，然后让机器去进行标记，然后人类根据机器标记的这些类，分别给这些类起名。

假设空间

归纳偏好

如图1.3，在回归算法中，预测的曲线是A好还是B好？？这说不准，因为如果在偏好平滑简洁的场景下，肯定A好。

再看图1.4，总会有一些场景使A优于B，B优于A。

NFL定理

俗称没有免费的午餐定理。

我们可以看到两个算法的总误差是相等的。
简言之，在某些情况下A算法好，误差小，另一些情况下B算法好，误差小；如果在无穷无尽的情况下，A和B的平均误差其实是一样的。