1.技术发展综述(1)两大重要事件大数据技术发展的基础：03和04年Google开源了GFS以及MapReduce这两篇论文。其中，GFS(Google File System)提供了相对于传统存储方案，更加高效、海量的一种数据存储方案分布式文件系统。MapReduce是对于海量数据的高效的分布式计算框架。大数据落地标志：之后Doug Cutting基于这这两篇文论通过Java做了开源实现，GFS

1.背景(1)gamma函数产生针对上述问题，欧拉将有限多项式的观察推广到无穷级数欧拉发现了gamma函数性质(2)LDA诞生①blei以PLSA为基础，加上贝叶斯先验，诞生了LDA算法。LDA初始的论文使用变分EM方法训练（Variational Inference）。该方法较为复杂，而且最后训练出的 topic主题非全局最优分布，而是局部最优分布。后期发明了 Collapsed Gibbs S

图片隐写目录。

1.背景(1)gamma函数产生针对上述问题，欧拉将有限多项式的观察推广到无穷级数欧拉发现了gamma函数性质(2)LDA诞生①blei以PLSA为基础，加上贝叶斯先验，诞生了LDA算法。LDA初始的论文使用变分EM方法训练（Variational Inference）。该方法较为复杂，而且最后训练出的 topic主题非全局最优分布，而是局部最优分布。后期发明了 Collapsed Gibbs S

1.大数据基本特征(1)传统数据与大数据的区别：Volume ：从数据量上来说，传统数据规模相对较小，最大维持在GB-TB，而大数据领域中我们需要处理的数据集规模基本都是在TB、乃至PB级别以上；Variety：速度方面，从两个方面来说，第一、从数据的增长速度来说，随着互联网以及物理网的带动，数据量增长非常迅猛；第二、从数据的处理速度上来说，现实场景中我们需要更低延时的高效分析，例如一些秒级别、毫

搭建ensp和主机网络互联测试环境，保证可以互相ping通

数据结构&算法模块总结(1)复杂度分析原理与方法(2)数组与链表原理和使用场景讲解(3)栈原理与应用场景讲解(4)队列原理与应用场景讲解(5)递归原理与虚拟机栈场景应用1.传统二分查找模板问题public int bsearch(int[] a, int n, int value) {int low = 0;int high = n - 1;while (low <= high) {

1.消费方式(pull vs push)传统Push模式虽然实时性高，但是容易造成consumer来不及处理消息，导致拒绝服务及网络拥塞。consumer采用pull(拉)模式从broker读取数据，这样可以控制消费速度。pull缺点：如果kafka没有数据，消费者可能会限于获取空数据的循环中。因此可以设置timeout参数，如果没有数据可供消费，consumer会等待一段时间再返回拿。2.消费时

1.Kafka介绍(1)基本概念Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者的所有动作流数据。 这种动作如：活动数据：网站用户行为数据，例如PV(页面浏览量)，UV(用户访问量)运营数据： 监控系统性能指标(cpu利用率、负载，内存使用率，磁盘利用率，IO性能)这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决，特性如下：海量数据不可变实时处理对于像Hadoop的一

1.Tomcat结构Web 应⽤服务器：Tomcat、Jboos、Weblogic、Jetty(1)首先在官⽹下载压缩⽂件https://tomcat.apache.org/download-90.cgi(2)然后压缩后可以看到目录结构2.IDE会集成Tomcat(如IDEA)(1)首先创建Java Web工程3.Servlet(1)什么是ServletServlet 是 Java Web 开发的