00编者按任何一种技术都会经历从阳春白雪到下里巴人的过程，就像我们对计算机的理解从“戴着鞋套才能进的机房”变成了随处可见的智能手机。在前面20年中，大数据技术也经历了这样的过程，从曾经高高在上的“火箭科技（rocket science）”，成为了人人普惠的技术。回首来看，大数据发展初期涌现了非常多开源和自研系统，并在同一个领域展开了相当长的一段“红海”竞争期，...

备注：该系列连载6-8篇左右，InfoQ 首发。本文中不分享与涉及数字化转型概念以及方法论， 这一篇是随笔记录方式，不是一篇完整的文章。(各大媒体以及网上各大网站以及很多专家都在讲述数字化转型各种方法论) 。首先给大家分享一段数字化转型具体实施的经历吧。曾经有幸加入一家头部的产业互联网做数据中台相关工作，这个数据中台经过多年三代数据人的建设，从之前的被动响应逐步缓慢转为主...

导语|本文实践了对于千万级别的用户，操作总数达万级别，每日几十亿操作流水的留存分析工具秒级别查询的数据构建方案。同时，除了留存分析，对于用户群分析，事件分析等也可以尝试用此方案来解决。...

5年前，大数据浪潮的来袭唤起了国内企业对数据作为核心资产的新认知，为了推动国内数据管理加速发展，DAMS中国数据智能管理峰会携手产学研各界权威力量开启了对企业数字化转型的探索与助力。5年...

redis的主从（master-slave）就是为了数据冗余备份、保证数据的安全、提高性能，在这里主要讲解一下其主从切换的两种方式，有不对之处，还请各位指教。  首先搭建一个简单的master-slave，在linux下安装编译redis，分别复制两份redis-master、redis-slave,修改redis.conf文件daemonize yes，让其在后台运行，另外修改redis-s

翻译自: https://www.confluent.io/blog/tutorial-getting-started-with-the-new-apache-kafka-0-9-consumer-client/kafka最初时开发时, 所带的producer和consumer client都是Scala所写. 我们逐渐发现这些API具有一些限制. high-level的api支持co

版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[-]一Kafka简介1 背景历史2 Kafka诞生3 Kafka现在二Kafka技术概览1 Kafka的特性2 Kafka一些重要设计思想3 kafka 应用场景4 Kafka架构组件5 Kafka TopicPartition三Kafka 核心组件1 Replication

kafka与其他消息队列不同的是, kafka的消费者状态由外部( 消费者本身或者类似于Zookeeper之类的外部存储 )进行维护, 所以kafka的消费就更加灵活, 但是也带来了很多的问题, 因为客户端消费超时被判定挂掉而消费者重新分配分区, 导致重复消费, 或者客户端挂掉而导致重复消费等问题.本文内容简介kafka的消费者有很多种不同的用法及模型. * 本文着重探讨0.9版本

昨日要闻数据内功修炼手册。。。HBase采用LSM树架构，天生适用于写多读少的应用场景。在真实生产环境中，也正是因为HBase集群出色的写入能力，才能支持当下很多数据激增的业务。需要说明的是，HBase服务端并没有提供update、delete接口，HBase中对数据的更新、删除操作在服务器端也认为是写入操作，不同的是，更新操作会写入一个最新版本数据，删除操作会写入一条标...

大家好，我是土哥.2021 年 1月份，给大家重点分享一下离线数仓与实时数仓的内容。今天，我们先了解一下数据仓库架构的演变过程，本文主要从五个方面进行介绍数据仓库概念离线大数据架构Lamb...