第十二章 使用FP-Growth算法来高效发现频繁项集FP-growth算法，基于Apriori构建，但在完成相同任务时采用了不同的技术，其只需要对数据库进行两次扫描，而Apriori算法对于每个潜在的频繁项集都会扫描数据集判定给定模式是否频繁，因此其比Apriori算法快。FP算法需要将数据集存储在一个特定的称作FP树的结构之后发现频繁项集或者频繁项对。12.1 FP树：

preface: 找出语料中跟某个词类似的词。word2vec作为google的一个开源工具，比较强大，效果也比较好，便试试。一、工具下载：http://word2vec.googlecode.com/svn/trunk/（翻墙）也可以从CSDN下载：http://download.csdn.net/detail/hortond/8095703官方教程：https://co

Ubuntu操作基本快捷键* 打开主菜单 = Alt + F1* 运行 = Alt + F2* 显示桌面 = Ctrl + Alt + d* 最小化当前窗口 = Alt + F9* 最大化当前窗口 = Alt + F10* 关闭当前窗口 = Alt + F4* 截取全屏 = Print Screen* 截取窗口 = Alt + Print Screen默认特殊快

1、快速改变Word文档的行距选中你需要设置行距的文本段落，按“Ctrl+ 1”的组合键，即可将段落设置成单倍行距；按“Ctrl+ 2”的组合键，即可将段落设置成双倍行距；按“Ctrl+5”的组合键，即可将段落设置成1.5倍行距。2、去除页眉的横线在页眉插入信息的时候经常会在下面出现一条横线，如果不想在页眉留下任何信息也无法自动去除此横线。这时可以采用下述的方法去掉：1.确认插入点

preface：不知不觉在终端下学习干活一年多，终端开多了成了习惯，之前嫌麻烦没用分屏，而当真正用起来比想象中的简单，终端下的分屏命令tmux及vim自带分屏命令vsp都相当不错，加快干活效率。1、终端分屏tmux功能：提供了强劲的、易于使用的命令行界面。可横向和纵向分割窗口。窗格可以自由移动和调整大小，或直接利用四个预设布局之一。支持 UTF-8 编码及

preface: 最近一个同学需要收集去哪儿网的一些景点信息，爬虫上场。像是这么有规律的之间用urllib及BeautifulSoup这两个包就可破。实际上是我想少了。一、抓取分析http://piao.qunar.com/ticket/detail_1.html及http://piao.qunar.com/ticket/detail_1774014993.html分别为齐庐山和西海景

一、到NLTK的官网下载Python2.66（虽然Python已经到3.0了，但是2.x的比较稳定，兼容2.x的软件也比较多一些）、PyYAML和NLTK。下载地址：http://www.nltk.org/download点击打开链接，根据自己安装的python版本，安装对应的nltk版本启动python解释器，输入import nltk，如果报ImportError: No module

一、到NLTK的官网下载Python2.66（虽然Python已经到3.0了，但是2.x的比较稳定，兼容2.x的软件也比较多一些）、PyYAML和NLTK。下载地址：http://www.nltk.org/download点击打开链接，根据自己安装的python版本，安装对应的nltk版本启动python解释器，输入import nltk，如果报ImportError: No module

preface: 最近一个同学需要收集去哪儿网的一些景点信息，爬虫上场。像是这么有规律的之间用urllib及BeautifulSoup这两个包就可破。实际上是我想少了。一、抓取分析http://piao.qunar.com/ticket/detail_1.html及http://piao.qunar.com/ticket/detail_1774014993.html分别为齐庐山和西海景

关键词：spark对象初始化transformer定义VectorAssembler特征合并pipeline训练模型保存及测试结果保存from pyspark.sql import SparkSessionspark = SparkSession.builder.enableHiveSupport().getOrCreate()# 注意编码问题，python2.7...