
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
相比前面介绍maxwell,实时数据采集中最主流技术非Flink CDC莫属,其直接省去中间的消息中间件如kafka,且支持增量采集也支持全量采集;本篇先介绍CDC的技术和分类,进一步了解其特性和支持丰富数据源,最后通过FLink DataStream和SQL两种编程示例解开入门。

如果还在为HDFS上存储海量的小文件而烦恼,不烦多留意号称下一代分布式存储技术Apache Ozone,其诞生初衷就是解决HDFS面临棘手问题,本篇从了解其特性和总体架构,基于开发测试需求通过docker和docker-compose方式启动Ozone本地集群,最后通过命令行接口和兼容hadoop命令Ofs操作卷、桶、键、存储读写文件数据。

如果你还在头疼数据分析多组件、多集群跨域等问题,推荐研究下华为开源的openlookeng,能够解决企业在面向大数据应用面临的用数难、找数难、取数难的痛点,本篇从openlookeng背景和架构开始,理解其关键技术和应用场景,最后通过安装openlookeng的集群,利用命令行接口验证MySQL和ClickHouse两种连接器的配置。

Go语言是天然并发利器,通过通信来实现内存共享而不是通过共享内存来通信,本篇从了解Go的并发哲学、理论及并发原语开始,之后用一个个Go代码示例认识Go的协程、通道、定时器、互斥锁、池化、原生操作等十几个并发编程示例,进一步加深对其并发编程使用场景理解和原理的初步认识。

了解传统Nginx网关和基于Open Resty的Kong网关的痛点,抛出本篇主角一个云原生网关Apache APISIX,先了解其定义、特性、架构,并进一步理解其使用场景,再通过三种安装方式一步步部署和验证,也涉及到对部分Admin API的使用,最后通过apisix-dashboard可视化页面配置路由示例、整合Nacos服务发现示例和开启skywalking插件实现链路追踪示例。

ArgoCD是Kubernetes的声明式、GitOps连续交付工具,通过Kubernetes控制器来实现。本篇介绍ArgoCD基本功能、组件和工作流程,也介绍通过kubekey部署简单K8S集群和基于K9S简易管理K8S集群,并通过K8S部署ArgoCD,通过二进制部署和配置ArgoCD的命令行工具,最后以一个官方示例演示ArgoCD创建APP的简易示例入门。

本篇先了解一个以快著称的云原生对象存储系统,上传下载对象速度只限制于网络带宽,体会强大又极简主义的设计,从MinIO特性和架构设计思想,熟悉其常见应用场景;实战MinIO的快速部署,最后以一个可用生产系统的4个节点每个节点4块磁盘的分布式高可用部署并体验了文件上传和下载的速度。......

依据国家关于加强数字化改革对数据开发利用数字化转型的企业推进落实数据治理;数据治理正在逐步形成为业界的共识,数据治理涵盖数据发现可用、数据及时稳定产出、数据质量保障、数据安全合规、数据生产的经济性,根据所处在数据治理的阶段不同,数据治理关注的核心需求也存在差异,数据治理管理过程最简单最通俗的就是利用组织、制度、流程和工具将信安系统的数据转换为有用的信息的过程。

数据分类分级对于数据的安全管理至关重要,安全分类分级是一个“硬核课题”,从数据治理开始,除了标准化和价值应用,重要的课题就是质量+安全。安全是底线,是价值应用的前提和基础。数据分类可以为数据资产结构化管理、UEBA(用户及实体行为分析)、个人信息画像等数据治理工作提供有效支撑;数据分级通过对不同级别的数据设置相应访问权限、加密规则、脱敏规则等,可大大提升数据安全管控效率,是数据安全精细化管理的重要

不用再担心SpringBoot启动慢和内存占用大的困惑了,为K8S云原生Quarkus轻松实现快、省、灵活的特性,本篇了解Quarkus优势和性能,并从quarkus工程创建开始,实现简单编码、普通jar打包、打包二进制文件和可跨平台直接运行二进制文件,并制作成docker镜像运行验证。








