一、简介对于连续值，最简单得方法就是采用二分法对连续属性进行除了，这正是C4.5决策树算法中采用的机制。那要取哪个值进行二分呢？简单的用中位数的方法可能会使得训练不如预期，所以我们要选择划分之后信息增益最大的划分点。对于属性a，我们有下面n-1个元素可以被选作划分点。信息增益定义为：其中Gain(D,a,t)是样本集D基于划分...

一、决策树（Decision Tree）介绍什么是决策树，其实字面意思挺简单的，就是通过样本的各个维度的数据来判断该样本的类别，比如下面这个就是决策树。图片来自周志华老师的西瓜书，这里的决策树通过西瓜的各个属性来判别是好瓜还是坏瓜。现在的任务就是构建这样一棵决策树：（一）应该先以哪个属性做判别？（找到令数据集区分的更好的属性）...

一、简介基于skleran的决策树使用很简单，只要是使用DecisionTreeClassifier类即可进一步，我们希望将该树可视化出来，这是需要用到sklearn中tree.export_graphviz函数和graphviz模块.Graphviz是一个开源的图形可视化软件。图可视化是将结构信息表示为抽象图和网络图的一种方法。它在网络、生物信息学、软件工程、...

一、关于PEP 249PEP的全称是Python Enhancement Proposals，其中Enhancement是增强改进的意思，Proposals则可译为提案或建议书，所以合起来，比较常见的翻译是Python增强提案或Python改进建议书。在数据库这方面python有PEP 249 -- Python Database API Specification v2.0，...

一、简介对于自己实现的决策树，我们可以使用matplotlib将其可视化，见下。其中create_plot可以生成最终的图，其中Tree是树结构，如果你的决策树直接用字典类型存储的化，可以适当修改其中的代码，大概的思路是不变的。retrieve_tree()函数是手工生成两棵树，以便测试查看。二、实现#%%import matplotlib.pypl...

自然语言处理：Word embedding 技术CBOW， Skip-gramword2vec（是一种概念，而不是技术）？fasttext（fastText模型架构和CBOW模型架构非常相似），glove（我们的模型通过只训练单词-单词共现矩阵中的非零元素来有效地利用统计信息，而不是训练整个稀疏矩阵或大型语料库中的单个上下文窗口。）...

一、名词解释生成方法由数据学习联合概率风波P(X,Y)，然后求出条件概率分布P(Y|X)为预测的模型，即生成模型：P(Y∣X)=P(X,Y)P(X)P(Y|X)=\frac{P(X,Y)}{P(X)}P(Y∣X)=P(X)P(X,Y)​这样的方法之所以称为生成方法，是因为模型表示了给定输入X产生输出Y的生成关系。典型的生成模型由朴素贝叶斯法和隐马尔可夫模型。判别方法由数据直接学习决策函数f(X)或

一、决策树（Decision Tree）介绍什么是决策树，其实字面意思挺简单的，就是通过样本的各个维度的数据来判断该样本的类别，比如下面这个就是决策树。图片来自周志华老师的西瓜书，这里的决策树通过西瓜的各个属性来判别是好瓜还是坏瓜。现在的任务就是构建这样一棵决策树：（一）应该先以哪个属性做判别？（找到令数据集区分的更好的属性）...

一、马尔可夫决策过程（Markov Decision Process，简称MDP）1. MDP介绍马尔可夫决策过程（Markov Decision Process, MDP）是序贯决策（sequential decision）的数学模型，用于在系统状态具有马尔可夫性质的环境中模拟智能体可实现的随机性策略与回报 。MDP的得名来自于俄国数学家安德雷·马尔可夫（Андрей Андреевич Мар

信息量和信息熵https://blog.csdn.net/hearthougan/article/details/76192381http://www.ruanyifeng.com/blog/2014/09/information-entropy.html信息熵和交叉熵有什么关系吗？https://www.cnblogs.com/kyrieng/p/8694705.html信息熵和困惑度的关系ht