最小二乘法最小二乘法，又称最小平方法，是机器学习中基础的算法之一，它是一种优化算法，通过最小化误差的平方来寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。在机器学习中，还可以使用最小二乘法来进行曲线拟合。上图介绍的上海市长宁区部分房价的信息，从散点图可以发现，房子的大小和房价彼此之间有一些依赖关系，由房子大小可以决定房子的价格

上一篇博文介绍了字典树（Tire Tree），它的结构简单、实现也很容易，但是，它也有自己的缺点，就是空间效率低，占用内存大。英文有26个字母，每个节点保存26个指向字母的指针（其中很大部分会是空指针），全部存下要262626^{26}，占用空间之大可想而知。中文的汉字有5万多，要是存储起来，内存耗用会更加严重，以至于不可行。所以需要考虑用另外一种数据结构来进行存储，三分搜索树(ternary s

最近又把机器学习中最近邻算法看了下，为了能够让算法更有效率，提到了用 KD 树来存储数据信息，所以就学习了 kd 树。   kd 树（K-dimensional tree）是一种对k维空间的实例点进行存储以便对其进行快速检索的属性数据结构。kd 树是二叉树，表示对 k 维空间的一个划分。构造 kd 树相当于不断地用垂直于坐标轴的超平面将 k 维空间切分，构造一系列的 k 维超矩形区域。很适合应用于

最近，想好好学习下Scrapy爬虫框架，一种很强大的 python 爬虫框架，在观看了极客学院的课程后，自己实现了用 Scrapy爬虫豆瓣电影 top250，并存于 mysql 数据库中。接下来就开始介绍实现过程。  首先来看看网页结构  对应的html 代码为：  如上图所示，主要是爬取出电影的名称、电影简要介绍、豆瓣评分、电影概括。  环境安装：pip3 install -U

python爬虫本篇博文是观看了慕课网的python爬虫课程—–爬取百度百科python词条以及相关词条的1000个页面。自己的笔记以及代码的实现。什么是爬虫？一段自动抓取互联网信息的程序。互联网是有一个个的网页组成，而每一个网页又有着对应的 URL 。每一个 URL 页面上又有指向其它页面的 url，这中 URL 的相互指向关系构成了一个网状结构。传统的方法是用人工的方法去获取互联网的信息，

前面已经介绍了隐马尔可夫模型，本篇博文主要是介绍用 viterbi 算法来解决 HMM 中的预测问题，也称为解码问题。  维特比算法实际是用动态规划解隐马尔可夫模型预测问题，即用动态规划(dynamic programming)求概率最大路径（最优路径）。这时一条路径对应着一个状态序列。  根据动态规划原理，最优路径具有这样的特性：如果最优路径在时刻t通过(it)∗(i_t)^*,那么这一路

java矩阵运算在学习机器学习算法时，发现运用java 来实现有些算法代码时，会有很大困难，其中有一点就是 java 本身并没有矩阵运算的 api，所以进行要实现矩阵运算就尤其复杂，在知乎上得知 java 有一个非常强大的矩阵学习库UJMP（Universal Java Matrix Package）,就去其官方网站学习了下，感觉非常棒,对其中自己比较常用的运算进行了测试。下载通过 maven

TF-IDF算法TF-IDF（词频-逆文档频率）算法是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。该算法在数据挖掘、文本处理和信息检索等领域得到了广泛的应用，如从一篇文章中找到它的关键词。TFIDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他