作业任务：安装Hive，有条件的同学可考虑用mysql作为元数据库安装（有一定难度，可以获得老师极度赞赏），安装完成后做简单SQL操作测试。将安装过程和最后测试成功的界面抓图提交 .  已有的当前虚拟机： 总共三台虚拟机，使用CentOS。一台是NameNode，另两台为DataNode，由于搭载虚拟机的内存不是很足，所以不打算再新增一台虚拟机来另外安装mysql，所以选择其中一台datanode

Spark的shell作为一个强大的交互式数据分析工具，提供了一个简单的方式学习API。它可以使用Scala(在Java虚拟机上运行现有的Java库的一个很好方式)或Python。在Spark目录里使用下面的方式开始运行： ./bin/spark-shell在Spark Shell中，有一个专有的SparkContext已经为您创建好了，变量名叫做sc。自己创建的SparkContex...

由于在scala中非常强调泛型或者说类型系统 ，Java和scala是基于jvm的，java1.5以前具体对象的类型与class一一对应，后来引入泛型，如字符串数组或整数数组，都是数组 ，但其实类型是不一样的，在虚拟机内部，并不关心泛型或类型系统。对泛型支持是基于运行时角度考虑的，在虚拟机中泛型被编译运行时是被擦除的， 在运行时泛型是通过反射方式获取。一、type 与 class 概念的区别sca

查看所有用户下的定时任务for u in `cat /etc/passwd | cut -d":" -f1`;do crontab -l -u $u;done linux下定时执行任务的方法 在LINUX中你应该先输入crontab -e，然后就会有个vi编辑界面，再输入0 3 * * 1 /clearigame2内容到里面 :wq 保存退出。 在LINUX中，周期执行的任务一

Linux手动释放缓存的方法Linux释放内存的命令：syncecho 1 > /proc/sys/vm/drop_cachesdrop_caches的值可以是0-3之间的数字，代表不同的含义：0：不释放（系统默认值）1：释放页缓存2：释放dentries和inodes3：释放所有缓存释放完内存后改回去让系统重新自动分配内存。echo 0 >/proc/sys/vm/d

在bash中，使用后台任务来实现任务的“多进程化”。在不加控制的模式下，不管有多少任务，全部都后台执行。也就是说，在这种情况下，有多少任务就有多少“进程”在同时执行。我们就先实现第一种情况：实例一：正常情况脚本———————————————————————————–#!/bin/bashfor ((i=0;i{sleep 1;echo 1>>aa &

一、HashMap的初始化1、HashMap 初始化的文艺写法HashMap 是一种常用的数据结构，一般用来做数据字典或者 Hash 查找的容器。普通青年一般会这么初始化：[java] view plain copyHashMap<String, String> map =new HashMap<String, String>();map.put(“Name”...

JSONObject obj = new JSONObject();{obj.put("key1", "value1");obj.put("key2", "value2");obj.put("key3", "value3");}Map<String, Integer> params = JSONObject.parseObject(obj.toJSONString(), n...

$( )中放的是命令，相当于` `，例如todaydate=$(date +%Y%m%d)意思是执行date命令，返回执行结果给变量todaydate，也可以写为todaydate=`date +%Y%m%d`；${ }中放的是变量，例如echo ${PATH}取PATH变量的值并打印，也可以不加括号比如$PATH。$#是传给脚本的参数个数$0 是脚本

用户可以在Profile文件中加入环境变量，比如ORACLE_HOME,HOME...这样重新登录之后，这些环境变量都会得以设置，不用每次都手工设置。Unix/Linux有两个profile文件1./etc/profile:是全局profile文件，设置后会影响到所有用户2./home/username/.profile或.bash_profile是针对特定用户的，可以针对用户，来