1.概述Spark是一种快速而通用的集群计算的平台，Spark 的一个主要特点就是能够在内存中进行计算，因而更快。2.特点与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询（Spark SQL）、

Hive on Tez的引擎调优 基于Map数和Reduce数的调优

来源网址：https://github.com/digoal/blog/blob/master/201704/20170412_02.md1.执行无结果调用语法PERFORM query;通常被用来判断是否有记录，如下：CREATE OR REPLACE FUNCTION public.test_perform()RETURNS void AS $BODY$DECLAREBEGINPERFORM

1.常用命令下列的hdfs命令，都是在实际工作中经常会用到的，如果要看全部的命令可以直接使用hdfs dfs，会显示所有的命令。使用hdfs dfs -help能够查看每个命令的使用方法（1）help hdfs命令帮助hdfs dfs -help（2）ls 查看hdfs目录下内容命令格式：hdfs dfs -ls [文件目录]hdfs dfs -ls /结果：drwxr-xr-x - hdfs h

1.常用内存参数1.1 shared_buffersshared_buffers是PostgreSQL用于共享缓冲区的内存，是由8kb大小的块所形成的数组。PostgreSQL在进行更新、查询等操作时，首先从磁盘把数据读取到内存，之后进行更新，最后将数据写回磁盘。shared_buffers可以暂时存放从磁盘读取的数据，能够让用户下次访问不需要去磁盘直接从里面读取出来，增加查询效率。shared_

1.创建topic命令格式：注意空格./kafka-topics.sh --create --topic topic名称--partitions分区数--replication-factor备份数--zookeeperZooKeeper的任意一个节点或者全部的IP:Port/kafka示例：./kafka-topics.sh --zookeeper 192.168.61.102:24002,192

下载网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/下载网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy模块安装的顺序与方式建议如下：（出错概率比较小）同时安装1、numpy、mkl（下载安装） 包的名字numpy-1.12.0b+mkl-cp35-cp35m-win_amd64.whl2、pand

1.numpy模块强大的多维（N-dimensional） 数组/矩阵对象复杂的(广播) 函数整合 C/C++ 和 Fortran 代码的工具实用的线性代数、傅里叶变换、随机数2.numpy简单使用2.1 导入numpy模块# 导入模块import numpy2.2 创建一维数组#创建一维数组格式numpy.array([元素1，元素2，...,元素n])实例：x=numpy.array(["a"

1.matplotlib是一个作图模块，解决可视化问题2.折线图与散点图# 折线图/散点图 plot来绘制# 导入模块import matplotlib.pylab as pylimport numpy as npyx=[1,2,3,4,8]y=[5,7,8,11,15]# pyl.plot(x,y)#plot(x轴数据，y轴数据，展现形式)默认是折线图# show能够将绘制好的图展现出来# o代

1.ifconfig使用ifconfig命令，ifconfig是最常用的配置和查看网络接口信息的命令，服务器上执行此命令会得到类下文的内容，一下内容可看到多个设备和设备状态、信息。# 不包括down状态的网卡ifconfig#查看所有网卡的信息(包括down状态的网卡)ifconfig -a# 查看指定网卡的信息 enp4s0是网卡名字 可以通过ethtool命令查看ifconfig enp4s0