storm软件包中lib目录下的所有jar包。

通常某个词语的IDF可以由语料库中文件的总数量除以包含该词语的文件数目，再将得到的商取对数决定。，即某一个文件中高频出现的词条，以及该词条在整个语料库文件中低频出现的现象，就可以产生高权重的TF-IDF,因此，TF-IDF倾向过滤掉常见的词语，保留重要的词语。这样当一个词语在语料库少数文章中出现，该词语对应的IDF值越大，当一个词语在大多数文章中都出现，那么该词语对应的IDF值会越小。一个词语在一

依次需要使用pip命令安装numpy、scipy、skikit_learn、matplotlib模块。

它们在同一个进程中。运行topo.KafkaOneCellMonintorTopology，从Kafka中读取数据，Storm分析之后，结果写入Hbase中存放。在conf/hbase-site.xml中，仅需要指定hbase和zookeeper写数据的本地路径。如：HBASE_ZOOKEEPER_LIST、KAFKA_ZOOKEEPER_LIST、BROKER_LIST、ZOOKEEPERS。如

storm软件包中lib目录下的所有jar包。

实时的分布式高容错。

spout发射元组的时候会给合适的acker发送一个消息表示对哪个spout的元组负责。storm的拓扑中提供了一组acker用于追踪spout发射的每个元组及其衍生的元组，一旦发现DAG处理完了，就同创建该元组的spout进行确认。ack val代表了该元组树的状态，不管spout发射的元组及其衍生的元组有多少，它仅仅是对所有创建的元组以及确认的元组id求。某个元组的id和该64bit的数字异或

训练模型都会将数据集分为两部分，一般会将0.8比例的数据集作为训练集，将0.2比例的数据集作为测试集，来训练模型。模型过拟合就是训练出来的模型在训练集上表现很好，但是在测试集上表现较差的一种现象，也就是模型对已有的训练集数据拟合的非常好（误差值等于0），对于测试集数据拟合的非常差，模型的泛化能力比较差。训练出模型后，可以在训练集中测试下模型的正确率，在测试集中测试下模型的正确率，如果两者差别很大（

【代码】机器学习---pySpark案例。

基于商品的协同过滤：跟你喜欢的东西类似的东西你也可能喜欢。用户A喜欢商品A和C，用户B喜欢商品A,B,C。从所有用户的历史喜好中假设商品A与商品C比较类似，也就是喜欢商品A的都喜欢商品C，那么基于这个结论我们可以将商品C推荐给用户C。用户C喜欢商品A,C,D。协同过滤（Collaborative Filtering）技术，是推荐系统中应用最为广泛的技术之一，协同过滤算法主要有两种，一种是基于用户的