logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

多个flume agent启动接收kafka下的不同的topic注意事项

NoteBy default the File Channel uses paths for checkpoint and data directories that are within the user home as specified above. As a result if you have more than one File Channel instances activ...

#flume
HAProxy实现Impala的负载均衡

1. 安装 HAProxy[root@master ~]# yum -y install haproxy2. 设置HAProxy配置cp /etc/haproxy/haproxy.cfg /etc/haproxy/haproxy.cfg.bakvim /etc/haproxy/haproxy.cfg注: Impala守护进程Beeswax端口21000映射到haproxy 2...

ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

在确保几台机器的时间同步,并且配置文件正确的前提下,执行hadoop fs -rmr /hbase  重新删除掉hadoop中的即可(无重要数据)

hive 将一个分区表数据全部插入另外一个分区表

假如现在hive有个分区表A,分区字段为dt需求是:需要将A表中的数据全部插入到分区表B中具体步骤如下:1.create Blike A;2.插入数据set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;insert overwrite table B PAR...

hue查询hbase操作相关参考

hbase基于hue的查询语法登录地址。。。。。。界面操作说明进入hue中的hbase进入表的查询界面界面说明查询语句,表示结束查询,可以不加主键查询输入主键rowkey1,rowkey2说明:只输入主键查询例1:00000051|1538229142例2:00000051|1538229142,00000051|1538230148根据主键...

hive的string和varchar的区别

一、简要介绍:Hive有2种类型用于存储变长文本。1.Hive-0.12.0版本引入了VARCHAR类型,VARCHAR类型使用长度指示器(1到65355)创建,长度指示器定义了在字符串中允许的最大字符数量。如果一个字符串值转换为或者被赋予一个varchar值,其长度超过了长度指示器则该字符串值会自动被截断。2.STRING存储变长的文本,对长度没有限制。理论上将STRING可以存储的...

基于AWS和CDH的大数据处理平台企业级架构的研究

摘 要 该期刊的目的是研究在企业生产环境下大数据架构的相关技术,包括操作系统配置,Cloudera管理器安装,CDH集群部署和集群参数调优,Kerberos集成,LDAP集成,保护传输中的数据安全和保护静态数据安全.生产环境依赖于AWS云服务。实验内容:CDH集群部署和集群参数调优;企业级身份验证系统kerberos;使用一个轻量级目录访问协议(LDAP)目录管理认证;当启动集群时用TLS/SSL

spark写入tidb的坑

1、tidb中定义的字段是json,但计算完的数据不是json2、spark解析json的字段不一致,需加入判断json.contains(key)再去getString,否则可能空指针异常3、tidb定义的是json,但计算完的数据可能为\N(空值在hdfs的底层默认存储方式)...

#spark#tidb
【大数据安全】Kerberos集群安装配置

1. 概述Kerberos是一种计算机网络认证协议,它允许某实体在非安全网络环境下通信,向另一个实体以一种安全的方式证明自己的身份。它也指由麻省理工实现此协议,并发布的一套免费软件。它的设计主要针对客户-服务器模型,并提供了一系列交互认证——用户和服务器都能验证对方的身份。Kerberos协议可以保护网络实体免受窃听和重复攻击。Kerberos协议基于对称密码学,并需要一个值得信赖的第三方...

    共 19 条
  • 1
  • 2
  • 请选择