本文转自《零基础入门深度学习》系列文章,阅读原文请移步这里在这篇文章中，我们将把这些单独的单元按照一定的规则相互连接在一起形成神经网络，从而奇迹般的获得了强大的学习能力。我们还将介绍这种网络的训练算法：反向传播算法。最后，我们依然用代码实现一个神经网络。如果您能坚持到本文的结尾，将会看到我们用自己实现的神经网络去识别手写数字。现在请做好准备，您即将双手触及到深度学习的大门。一、神经网络是啥神经网络

决策树(Decision Tree)是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规 则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。决策树的基本算法如下图（图来源于周志华的《机器学习》74页）:算法的核心在于如何选择最优划分属性，即算法中的第8行。sklearn中的决策树模块提供了两种方式：信息熵和基尼系数。决策树算法的核心是解决两个问题：如何从数据表中找出

一、lightGBM模型介绍1. lightGBM模型简介lightGBM模型是一个梯度提升决策树(GBDT)的实现，其本质原理就是利用基分类器(决策树)训练集成，得到最优的模型。相同的模型还有XGBoost，但因为XGBoost模型在多维度的大数据集下，计算效率较差和可扩展性较低(主要原因是对于每个特征，它们都要扫描所有的数据样本来评估所有可能分枝点的信息增益)，lightGBM模型为了解决这个

概要机器学习中的分类模型有逻辑回归、朴素贝叶斯、决策树、支持向量机、随机森林、梯度提升树等分类算法，不仅可以进行二分类，还可以进行多分类。一、逻辑回归逻辑回归的本质就由线性回归演变而来，是一个线性分类器。sklearn实现的LogisticRegression不仅可用于二分类，也可以用于多分类。优点：模型训练速度非常快，计算量只与特征的数目有关。模型的可解释性非常好，从特征的权重可以看到不同特征对

本文转自《零基础入门深度学习》系列文章,阅读原文请移步这里一、语言模型RNN是在自然语言处理领域中最先被用起来的，比如，RNN可以为语言模型来建模。那么，什么是语言模型呢？我们可以和电脑玩一个游戏，我们写出一个句子前面的一些词，然后，让电脑帮我们写下接下来的一个词。比如下面这句：我昨天上学迟到了，老师批评了____。我们给电脑展示了这句话前面这些词，然后，让电脑写下接下来的一个词。在这个例子中，接

背景我们要查询类似以下结构的数据，但是要筛选出指定key值的数据。解决方案一般方法将数组covers字段进行explode()操作展开，生成一个包含covers中struct类型元素的临时表，然后再将临时表中的struct类型字段的各个字段展开。最终生成一个id，key，type的表。得到这个表时便可以指定key进行查询了。但是这个方法需要进行三步，非常麻烦。使用LATERAL VIEW expl

本文转自《零基础入门深度学习》系列文章,阅读原文请移步这里一、语言模型RNN是在自然语言处理领域中最先被用起来的，比如，RNN可以为语言模型来建模。那么，什么是语言模型呢？我们可以和电脑玩一个游戏，我们写出一个句子前面的一些词，然后，让电脑帮我们写下接下来的一个词。比如下面这句：我昨天上学迟到了，老师批评了____。我们给电脑展示了这句话前面这些词，然后，让电脑写下接下来的一个词。在这个例子中，接

在互联网如此发达的今天，每天都有海量的数据产生。通过对这些的数据进行分析，我们可以挖掘出数据中的很多信息，从而获取商业价值。面对如此海量的数据，一般的统计分析技术是无法胜任的，需要使用专门的大数据分析技术。今天我们介绍目前最为流行的数据处理技术—Apache Spark。Spark是一款支持多语言的，为大规模分布式数据处理而设计的一站式引擎，它整合了各种上层库，比如用于机器学习的MLlib、提供交

本文转自《零基础入门深度学习》系列文章,阅读原文请移步这里一、语言模型RNN是在自然语言处理领域中最先被用起来的，比如，RNN可以为语言模型来建模。那么，什么是语言模型呢？我们可以和电脑玩一个游戏，我们写出一个句子前面的一些词，然后，让电脑帮我们写下接下来的一个词。比如下面这句：我昨天上学迟到了，老师批评了____。我们给电脑展示了这句话前面这些词，然后，让电脑写下接下来的一个词。在这个例子中，接

Dropout是什么？Dropout是深度神经网络优化训练过程的一个算法。是由“AI教父”Geoff Hinton在其论文《Improving neural networks by preventing co-adaptation of feature detectors》中提出并在论文《Dropout: A Simple Way to Prevent Neural Networks from O