知识储备：一、概率论和数理统计第一章 概率论的基本概念1、必须要掌握的名词(1) 样本空间一般可以认为是整个样本(2) 样本点其中的一个样本，其中每个样本一般可以理解为特征向量(3) 放回抽样和不放回抽样2、必须掌握的公式(1) 条件概率公式上式表示 A 事件已经发生后，B 事件发生的概率通俗理解:A 事件已经发生后...

一、基础知识1.1什么是人脸识别？首先简单介绍一下人脸验证（face verification）和人脸识别（face recognition）的区别。人脸验证：输入一张人脸图片，验证输出与模板是否为同一人，即一对一问题。人脸识别：输入一张人脸图片，验证输出是否为K个模板中的某一个，即一对多问题。一般地，人脸识别比人脸验证更难一些。因为假设人脸验证系统的错误率是1%，那么在人脸...

一、前言在去杂货店买东西的过程，实际包含了许多机器学习的当前及未来应用，这包括物品的展示方式、购物之后优惠券的提供以及用户忠诚度计划，等等。它们都离不开对大量数据的分析。通过查看哪些商品经常在一起购买，可以帮助商店了解用户的购买行为。这种从数据海洋中抽取的知识可以用于商品定价、市场促销、存货管理等环节。从大规模数据集中寻找物品间的隐含关系被称作关联分析(associa...

一、基础知识1.1调试处理关于训练深度最难的事情之一是你要处理的参数的数量，从学习速率???? 到Momentum（动量梯度下降法）的参数????。如果使用Momentum或Adam优化算法的参数????1，????2和????，也许你还得选择层数，也许你还得选择不同层中隐藏单元的数量，也许你还想使用学习率衰减。所以，你使用的不是单一的学习率????，当然你可能还需要选择mini-batch的大小

hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)5、PARQUET1、其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；    SEQUENCEFILE，RCFILE，ORCFILE,PARQUET格式的表不能直接从本地...

一、Impala是什么？？？Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。Im...

一 前言前面的文章介绍了很多分类算法，分类的目标变量是标称型数据，而本文将会对连续型的数据做出预测。主要讲解简单的线性回归和局部加权线性回归，并通过预测鲍鱼年龄的实例进行实战演练。二 什么是回归？回归的目的是预测数值型的目标值。最直接的办法是依据输入写出一个目标值的计算公式。假如你想预测小姐姐男友汽车的功率，可能会这么计算：HorsePower = 0.0015 * annualS...

一、使用Colaboratory的免费GPU训练神经网络1 Colaboratory 介绍Colaboratory 是一个 Google 研究项目，旨在帮助传播机器学习培训和研究成果。它是一个 Jupyter 笔记本环境，不需要进行任何设置就可以使用，并且完全在云端运行。2 搭建 Colaboratory打开谷歌，使用邮箱登陆你的 Google 账号。（没有帐号的使用邮箱注册一...

一、引言先说个K-means算法很高大上的用处，来开始新的算法学习。我们都知道每一届的美国总统大选，那叫一个竞争激烈。可以说，谁拿到了各个州尽可能多的选票，谁选举获胜的几率就会非常大。有人会说，这跟K-means算法有什么关系？当然，如果哪一届的总统竞选，某一位候选人是绝对的众望所归，那自然能以压倒性优势竞选成功，那么我们的k-means算法还真用不上。但是，我们应该知道2004年...

一、使用Colaboratory的免费GPU训练神经网络1 Colaboratory 介绍Colaboratory 是一个 Google 研究项目，旨在帮助传播机器学习培训和研究成果。它是一个 Jupyter 笔记本环境，不需要进行任何设置就可以使用，并且完全在云端运行。2 搭建 Colaboratory打开谷歌，使用邮箱登陆你的 Google 账号。（没有帐号的使用邮箱注册一...