DAG概念概述Spark会根据用户提交的计算逻辑中的RDD的转换和动作来生成RDD之间的依赖关系，同时这个计算链也就生成了逻辑上的DAG。接下来以“Word Count”为例，详细描述这个DAG生成的实现过程。Spark Scala版本的Word Count程序如下：1： val file=sc.textFile(“hdfs://hadoop01:9000/hello1.txt”) 2：...

数据挖掘数据挖掘：也就是data mining，是一个很宽泛的概念，也是一个新兴学科，旨在如何从海量数据中挖掘出有用的信息来。数据挖掘这个工作BI（商业智能）可以做，统计分析可以做，大数据技术可以做，市场运营也可以做，或者用excel分析数据，发现了一些有用的信息，然后这些信息可以指导你的business，这也属于数据挖掘。机器学习机器学习：machine learning，是计算机科学...

爬虫概述1.爬虫技术概述爬虫，即网络爬虫，是通过递归访问网络资源，抓取网络中信息的技术。互联网中也有大量的有价值的信息数据，手动下载效率非常低下，爬虫就是自动化爬取下载些有价值的信息的技术。互联网中的页面往往不是独立存在的，而是通过超链接连接成了一个网络，爬虫程序就像一 只蜘蛛一样，通过访问超链接在这张网络中移动 ，并下载需要的信息，理论上可以将爬取到整个互联网的绝大部分数据。爬虫技术最...

大数据笔记Zookeeper的安装及使用安装步骤如下：[root@localhost ~]# cd /home/software[root@localhost software]# tar -xvfzookeeper-3.4.10.tar.gz[root@localhost software]# cd zookeeper-3.4.10[root@localhost zookeepe...

import java.util.ArrayList;import java.util.List;import org.springframework.beans.factory.annotation.Value;import org.springframework.stereotype.Component;@Componentpublic class PageUtil {@Value...

Linux笔记修改运行级别临时切换运行级别：用init命令,例如进入级别3[root@localhost ~]# init 3永久切换，需要修改配置文件vi /etc/inittab重启虚拟机后生效。虚拟机导入导入vmdk文件，只需要新建虚拟机，创建虚拟机硬盘的时候，选择已有虚拟机硬盘。这个时候选择到之前的虚拟机硬盘VMDK文件，即可。常用快捷键：Ctrl+C：终止当前进程...

注意：1.凡涉及到IP地址的都要改2.开启一个服务前先检查当前状态status，很有可能正处于运行状态（被复制的主机当时正运行此进程），最好先关闭再开启。虚拟机绑定一个静态IPvim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=“eth0”BOOTPROTO=“static”IPV6INIT=“yes”NM_CONTROLLED=...