一、什么是libsvmlibsvm是一种机器学习中常见的数据保存格式，它有如下特征：[label] [index1]:[value1] [index2]:[value2] …[label] [index1]:[value1] [index2]:[value2] …label目标值，就是说class（属于哪一类），就是你要分类的种类，通常是一些整数。index是有顺序...

一、损失函数和风险函数的区别理论上模型f(X)关于联合分布P(X,Y)的平均意义下的损失，称之为风险函数(risk function)或期望损失(expected loss).一句话总结就是：损失函数的平均为风险函数二、经验风险、期望风险、结构风险1. 经验风险 empirical risk经验风险就是模型f(X)在训练数据集上的平均损失(损失函数的值)，也称之为经验损失。为什么叫经验风险呢？提供

3. 什么是主成分分析？（Principle Component Analysis，PCA)设数据X=(x1,x2,..xn)X=(x_1,x_2,..x_n)X=(x1​,x2​,..xn​)具有n个属性（还有很多其他命名，比如分量，指标），属性值分别是x1,x2,..xnx_1,x_2,..x_nx1​,x2​,..xn​那么主成分分析就是把原来具有相关关系的多个指标（属性）简化为少数几个新的

一、简介基于skleran的决策树使用很简单，只要是使用DecisionTreeClassifier类即可进一步，我们希望将该树可视化出来，这是需要用到sklearn中tree.export_graphviz函数和graphviz模块.Graphviz是一个开源的图形可视化软件。图可视化是将结构信息表示为抽象图和网络图的一种方法。它在网络、生物信息学、软件工程、...

一、简介对于自己实现的决策树，我们可以使用matplotlib将其可视化，见下。其中create_plot可以生成最终的图，其中Tree是树结构，如果你的决策树直接用字典类型存储的化，可以适当修改其中的代码，大概的思路是不变的。retrieve_tree()函数是手工生成两棵树，以便测试查看。二、实现#%%import matplotlib.pypl...

一、模型定义keras中模型定义十分简便，主要通过add函数来添加layers，而这些layers包含比如卷积层Conv2D、池化层Pool，全连接层Dense, 激活函数层Activation等。下面是一个浅卷积网络的例子：from keras.models import Sequentialfrom keras.layers.convolutional import Co...

一、决策树（Decision Tree）介绍什么是决策树，其实字面意思挺简单的，就是通过样本的各个维度的数据来判断该样本的类别，比如下面这个就是决策树。图片来自周志华老师的西瓜书，这里的决策树通过西瓜的各个属性来判别是好瓜还是坏瓜。现在的任务就是构建这样一棵决策树：（一）应该先以哪个属性做判别？（找到令数据集区分的更好的属性）...

1.使用lsof命令lsof 是“list open files”的缩写，在linux系统中，一切可是为文件，网络连接也可视为文件，因此，我们可以通过lsof命令查看占用某个端口号的进程。示例：lsof -i :8080或者lsof -i | grep 8080参数解释：-i 是Internet的缩写，它表示选择网络地址与[i]表示的内容匹配的所有文件（网络连接）。2. 使用netstat命令ne

一、简介对于连续值，最简单得方法就是采用二分法对连续属性进行除了，这正是C4.5决策树算法中采用的机制。那要取哪个值进行二分呢？简单的用中位数的方法可能会使得训练不如预期，所以我们要选择划分之后信息增益最大的划分点。对于属性a，我们有下面n-1个元素可以被选作划分点。信息增益定义为：其中Gain(D,a,t)是样本集D基于划分...

一、马尔可夫决策过程（Markov Decision Process，简称MDP）1. MDP介绍马尔可夫决策过程（Markov Decision Process, MDP）是序贯决策（sequential decision）的数学模型，用于在系统状态具有马尔可夫性质的环境中模拟智能体可实现的随机性策略与回报 。MDP的得名来自于俄国数学家安德雷·马尔可夫（Андрей Андреевич Мар