logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

kudu-impala分区表(hash和range分区)

1、分区表支持hash分区和range分区,根据主键列上的分区模式将table划分为 tablets 。每个 tablet 由至少一台 tablet server提供。理想情况下,一张table分成多个tablets分布在不同的tablet servers ,以最大化并行操作。2、Kudu目前没有在创建表之后拆分或合并 tablets 的机制。3、创建表时,必须为表提供分区模式。4、在

数据主题域划分

作用:对公司所有的业务过程进行归纳汇总后,总结出公司所有的主题域,并且也能清晰的知道公司的所有业务模块有助于建模人员和运营人员对了解公司业务情况有利于在进行模型设计时,根据主题域和业务过程设计表,做到看到一个表名就知道他真正的业务含义以下主题域仅供参考:...

cloudera manager整体介绍

体系架构Cloudera Manager的核心是Cloudera Manager Server。Server托管Admin Console Web Server和应用程序逻辑。它负责安装软件、配置、启动和停止服务以及管理运行服务的群集。解释:Agent:安装在每台主机上。它负责启动和停止进程,解压缩配置,触发安装和监控主机Management Service:执行各种监控、报...

数据指标体系命名规范

原子指标定义原子指标 = 单一业务修饰词+基础指标词根,例如:支付金额-payment_amt命名规范派生指标定义派生指标 = 多业务修饰词+基础指标词根,派生指标继承原子指标的特性,例如:T+180体系课商品复购率,其中T+180是时间修饰词、体系课复购是业务修饰词、比率是基础指标词根命名规范日期类指标命名规范命名时要遵循:业务修饰词+基础指标词根+聚合修饰词(日期修饰词)。将日期后缀加到名称后

cloudera manager的agent的ip地址改变解决方案

1、首先在安装cloudera-manager的主机上,启动所有的cloudera管理进程[root@node1 ~]# /etc/init.d/cloudera-scm-server-db status[root@node1 ~]# /etc/init.d/cloudera-scm-server status2、查看postgresql 的scm用户的密码grep pa...

cloudera manager5.13版本更新信息

概括新功能1.Sentry实现HA2.Kafka0.11集成,0.11目前为社区最新版3.Kudu1.5开始默认打包到CDH,不需要使用额外的Parcle安装4.Kudu与Sentry授权集成,支持列授权据说CDSW1.2发布,与CM完美集成,实现Parcel安装Openstack支持,Ceph支持,架构更新,参考:http://www.cloudera.com/doc

kafka报错解决

错误一:解决办法:启动kafka集群错误二:test - marked for deletion解决办法:[zk: localhost:2181(CONNECTED) 0] ls /admin/delete_topics/test[][zk: localhost:2181(CONNECTED) 3] rmr /admin/delete_topics/te...

#kafka
Kafka分区分配策略(Partition Assignment Strategy)

官方:RoundRobin:The round-robin partition assignor lays out all the available partitions and all the available consumer threads. It then proceeds to do a round-robin assignment from partition to con

#kafka
kafka架构图详解

Kafka 的每个 borker 都是普通节点,但启动集群时会通过 ZK Lead 选举机制选出一个Leader 作为主节点。Productor:生产数据写到 Kafka,持久化到硬盘。对同一个 Topic 来讲,生产者通常只有“一个”(可以多并发)。数据保存时长可配置,默认保存 7 天。Consumer:从 Kafka 里消费数据。对同一个 Topic 来讲,消费者会很多,根据业务

#kafka
kafka性能调优

Broker参数配置1、网络和io操作线程配置优化# broker处理消息的最大线程数(默认为3)num.network.threads=cpu核数+1# broker处理磁盘IO的线程数num.io.threads=cpu核数*22、log数据文件刷盘策略# 每当producer写入10000条消息时,刷数据到磁盘log.flush.interval.message

#kafka
    共 13 条
  • 1
  • 2
  • 请选择