hbase启动时 ： zookeeper 挂掉和 hmaster挂掉的问题A： zookeeper 挂掉ERROR [main] zookeeper.ZooKeeperWatcher:hconnection-0x6e1721d7, quorum=hadoop-senior01.ibeifeng.com:2181,baseZNode=/hbase Received unexpected Ke

一.配置hive 源数据服务 1. 在 hive-site 配置文件里将下面的配置文件删除（这个配置时用来集成hue的，删除就不集成了）             hive.metastore.uris  thrift://hadoop-senior01.ibeifeng.com:9083      ThriftURI for the remote metastore. U

注意：本测试使用的是官网的数据集，由于官网聚合操作太多过滤，所以写了一些没有过滤的聚合操作，本测试属于极限测试，真实业务中的聚合操作肯定会有很多过滤操作的一.表的创建和数据导入创建表：必须在每个节点创建表，ddl 没有同步 create database test ;use test ;CREATE TABLE ontime( Year UInt16,Quarter ...

一.spark on yarn historyserver（运行完毕日志）  1.配置yarn日志参数:yarn-site.xml     yarn.log-aggregation-enable    true      yarn.log.server.url    http://hadoop-senior01.ibeifeng.com:1988

序列化缓存溢出Causedby：org.apache.spark.SparkException：Kryo序列化失败：缓冲区溢出。可用：0，必需：21.要避免此情况，请增加spark.kryoserializer.buffer.maxCaused by:org.apache.spark.SparkException: Kryo serialization failed: Buffer ove

Spark和Hadoop、HBase集成，使用Maven管理依赖的时候需要考虑包的兼容性：报错：java.lang.SecurityException: class "javax.servlet.FilterRegistration"'s signer information does notmatch signer information of other classes in the sa

一.问题切入调用spark 程序的时候，在获取数据库连接的时候总是报  内存溢出 错误（在ideal上运行的时候设置jvm参数 -Xms512m -Xmx1024m -XX:PermSize=512m -XX:MaxPermSize=1024M，不会报错） 二.jvm参数 和 saprk 参数 和内存四区 解读1.内存四区   1、栈区（stack）：由编译器自动分配释放