logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

企业大数据发展面临问题之存算分离技术思考

存算分离是下一代企业大数据必然趋势,本篇先简述存算分离背景以及为何要进行存算分离,当前存算分离主要优势和实际应用场景。并归纳分析若干如华为Ocean系列、JuiceFs、HashData等市面上存算分离产品和解决方案。

文章图片
#大数据#云计算
大数据实时多维OLAP分析数据库Apache Druid入门分享-上

Apache Druid是⼀款针对海量数据进⾏⾼性能实时分析OLAP引擎的实时分析型数据库,本篇了解其特征和适用场景,并与其他框架横向对比;最后部署一个单机版演示本地文件摄取入库,并演示基于Json API本地查询和SQL两种查询方式。

文章图片
#大数据#数据库#apache
大数据技术之HBase原理与实战归纳分享-上

要想入门大数据理论和原理必先研究HBase,体会其设计精髓,本篇先介绍其基础架构和应用场景、逻辑结构和物理存储结构进一步理解其数据模型,通过详细完整步骤一步步的安装最新版本2.5高可用的Hbase集群以加深理解其整体架构,最后通过实操Hbase Shell基础命令和DDL、DMl等常用命令。

文章图片
#hbase#大数据#hadoop
主流前沿的开源监控和报警系统Prometheus+Grafana入门之旅-中

从监控基础理论简单谈起,部署Prometheus的两种数据采集exporter和pushgateway,并通过相应采集示例演示,通过一个对CPU监控采集和图形展示的示例了解到Prometheus强大数学支持,最后通过部署grafana实现一个抓取TCP waiting_connection美观的可视化展示。.........

文章图片
#开源#运维#数据库
大数据实时多维OLAP分析数据库Apache Druid入门分享-下

了解Apache Druid的基础概念后,本篇进一步研究其核心架构和核心设计原理部分,了解相关外部依赖,对其数据摄取和查询有一定认识,然后通过搭建分布式集群进一步理解其架构组成,最后用一个示例从HDFS将数据摄取到Druid并演示两种查询方式

文章图片
#大数据#数据库#apache
大规模数据分析统一引擎Spark入门实战

本篇先了解Spark和Hadoop的关系与区别,进一步了解特性和相关组件架构;通过实战部署了Spark最新版本3.3.0的Local、Standalone+历史服务+HA、Yarn的部署完成操作步骤,并通过不同提交方式的示例和WebUI查看加深多Spark多种作业提交原理的理解,并拉开了使用Spark-Shell方式提交本地、集群、yarn交互式使用之门。

文章图片
#spark#数据分析#大数据
新一代开源流数据湖平台Apache Paimon入门实操-下

上一篇对Apache Paimon有了基础了解,本身则主要通过实操方式进一步加深理解,具备沉淀后续投入使用的基础知识;进行数据插入和更新操作,基于批和流式多种查询方式如时间旅行和增量查询,并了解相关系统表的查看,最后MySQL和基于Kafka(通过Canal对MySQL数据库实现变更捕获)的CDC集成完整示例演示收尾。

云原生时代Go最受欢迎Web开源框架Gin原理与实战

在Go的Web开发世界中,Gin以其简单、高性能一举成为使用最广泛的框架;本篇先了解定位和特性,然后在进行常见使用功能如参数获取和绑定、路由组、中间件、静态资源使用、内容渲染、Cookie和Session等多个代码示例演示,最后通过分析源码中的核心流程和数据结构加深对其整体理解。

文章图片
#云原生#golang#前端
基于列存储的开源分布式NoSQL数据库Apache Cassandra入门分享

通过Hbase与Cassandra对比,层次展开了解Apache Cassandra特性和使用场景,通过部署但实力和多实例集群进一步理解其运作,最后通过CQL及其客户端命令工具理解其数据模型和数据类型,通过对键空间、表、索引、数据操作熟悉常见CQL语法和使用。

文章图片
#分布式#apache#开源
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上

再下一城又一个实时多维交互式分析数仓利器,了解其特性和架构组成,进一步阐述相关概念和其生态圈;介绍作为开发测试最快捷方式的Docker单机部署;也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题,最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、创建Cube、Cube的构建,全面认识kylin预计算查询的性能。

文章图片
#分布式#开源#数据分析
    共 39 条
  • 1
  • 2
  • 3
  • 4
  • 请选择