这次做的系列是《机器学习实战》，原书比较久远了，且代码和练习都是基于Python2，我个人是升级到了Python3，因此使用最新的版本来写这些习题。具体2和3其实在基础语法上并没有太多差别，一些高级特性比如装饰器工厂，协程，IO等Python3的新用法，一般机器学习也用不上，因为追求性能的话都会用C/C++等语言去实现，Python只是小规模的测试用。除了版本差异，代码里的部分函数以及代码范式也和

Grid Search：一种调参手段；：在所有候选的参数选择中，通过循环遍历，尝试每一种可能性，表现最好的参数就是最终的结果。其原理就像是在数组里找最大值。（为什么叫网格搜索？以有两个参数的模型为例，参数a有3种可能，参数b有4种可能，把所有可能性列出来，可以表示成一个3*4的表格，其中每个cell就是一个网格，循环过程就像是在每个网格里遍历、搜索，所以叫grid search）

混淆矩阵是数据科学、数据分析和机器学习中总结分类模型预测结果的情形分析表，以矩阵形式将数据集中的记录按照真实的类别与分类模型作出的分类判断两个标准进行汇总。我的机器学习教程「美团」算法工程师带你入门机器学习以及 「三分钟系列」数据结构与算法 已经开始更新了，欢迎大家订阅~这篇专栏整合了这几年的算法知识，简单易懂，也将是我实体书的BLOG版。也欢迎大家关注微信公众号「图灵...

在三维情况下，要覆盖特征空间20%的体积，则需要在每个维度上取得58%的取值范围...在维度接近一定程度时，要取得同样的训练样本数量，则几乎要在每个维度上取得接近100%的取值范围，或者增加总样本数量，但样本数量也总是有限的。换句话说，通过使用更少的特征，避免了维数灾难的发生(也即避免了高维情况下的过拟合)。维数灾难与过拟合：在上面这个分类的例子中，我们假设猫和狗图片的数量是有限的(实际上也确实如

这种概念很容易推广到关系数据库模式上，R(U)，U={X，Y，Z, K},对于任何一个元组，只要(X,Y,Z)确定了，就能确定整个元组，也就是存在K = f(X,Y,Z)的关系，只不过这里的f不能用公式表达，而只能是语义上的含义。若X->->Y 在R（U）上成立，且Y’ 包含于Y，不能断言 X->->Y’在R（U）上成立（注意和上一条性质不同） （因为多值依赖中的定义中涉及了U中除了X,Y之外的其

假设图3中m-1=1是输入层，我们需要识别一幅彩色图像，这幅图像具有四个通道ARGB（透明度和红绿蓝，对应了四幅相同大小的图像），假设卷积核大小为100*100，共使用100个卷积核w1到w100（从直觉来看，每个卷积核应该学习到不同的结构特征）。不知题主是否发现，RNN可以看成一个在时间上传递的神经网络，它的深度是时间的长度！而在RNN中，神经元的输出可以在下一个时间戳直接作用到自身，即第i层神

李沐，亚马逊 AI 科学家，也是我在Amazon实习时的大BOSS。由李沐、Aston Zhang 等人合力打造的《动手学深度学习》正式上线，免费供大家阅读。这是一本面向中文读者的能运行、可讨论的深度学习教科书李沐的这本《动手学深度学习》也是使用 MXNet 框架写成的。但是很多入坑机器学习的萌新们使用的却是 PyTorch。如果有教材对应的 PyTorch 实现代码就更好了~撒花，最...

VC维数学习VC维要先知道的概念有：增长函数（growth function）、对分（dichotomy）、打散（shattering）和断点（break point）1.增长函数增长函数表示假设空间H对m个示例所能赋予标记的最大可能结果数。比如说现在数据集有两个数据点，考虑一种二分类的情况，可以将其分类成A或者B，则可能的值有：AA、AB、BA和BB，

李沐，亚马逊 AI 科学家，也是我在Amazon实习时的大BOSS。由李沐、Aston Zhang 等人合力打造的《动手学深度学习》正式上线，免费供大家阅读。这是一本面向中文读者的能运行、可讨论的深度学习教科书李沐的这本《动手学深度学习》也是使用 MXNet 框架写成的。但是很多入坑机器学习的萌新们使用的却是 PyTorch。如果有教材对应的 PyTorch 实现代码就更好了~撒花，最...

如图所示，你会发现每个cell都会有一个损失，我们已经定义好了损失函数，接下来就是熟悉的一步了，那就是根据损失函数利用SGD来求解最优参数，在CNN中使用反向传播BP算法来求解最优参数，但在RNN就要用到BPTT，它和BP算法的本质区别，也是CNN和RNN的本质区别：CNN没有记忆功能，它的输出仅依赖与输入，但RNN有记忆功能，它的输出不仅依赖与当前输入，还依赖与当前的记忆。在图像处理中，目前做的