logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Seatunnel超高性能分布式数据集成平台使用体会

有Sqoop和DataX之类数据处理为何还要用Apache SeaTunnel,这就要得益于Apache SeaTunnel依赖Flink和Spark天然分布式处理数据的特性,前两者是单机同步数据不适于海量数据同步,以低代码方式用配置文件就可以启动Flink数据处理应用,本篇从基本概念和原理入手,并通过部署SeaTunnel演示了多个基于Flink的Source和Sink配置,基本掌握如何编写配置

文章图片
#分布式#大数据#flink
数字化转型数据治理先谈数据安全

数据安全是大数据产业的发展基石,更是国家安全重要保障;信息化发展是一个新机遇,政府数据的开放共享和数据壁垒的打通,推动双循环发展的新机遇,复杂多变的国际形势让我国科技创新、新型基础设施建设和自主可控关键技术发展迎来新的发展机遇,随着坚定的发展脚步,5G、AI、工业互联网等将改变整个社会实现智能化;其次,目前网络安全形势十分严峻,网络攻击、数据贩卖、技术防范弱、自然灾害等问题大量存在,需要从产品和服

文章图片
#数据库#大数据
数字化大时代崛起的数据安全能力框架

数据化已经贯穿经济社会发展的全领域、多层级,成为国家治理经济发展和社会运行的核心驱动力,而数据作为新的生产要素的核心定位也成为数据化过程中最关键的驱动力,国家发展数据化经济提出更高的要求,数据治理先行同步统筹安全和发展,其中以数据安全治理为核心的数据安全能力框架2.0和零信任身份安全解决方案动态细粒度访问控制能力和业务应用控制相结合,实现对数据流转的精准控制,做到主体的数字身份可信,行为操作合规以

文章图片
#big data
Apache DolphinScheduler新一代分布式工作流任务调度平台实战-上

全新一代分布式工作流任务调度平台Apache DolphinScheduler,其为azkaban的完美替换品,本篇从实战目的出发先了解特性和组成部分,然后以二进制的方式部署2个Master3个Worker1个API和1个Alert的生产环境集群,介绍了其监控中心和安全中心必用功能,最后以一个简单的shell依赖工作流整理流程打开使用的大门。.........

文章图片
#分布式#apache#大数据
全能成熟稳定开源分布式存储Ceph破冰之旅-上

Ceph实现了分布式统一的存储,既支持对象存储、块设备存储还支持文件系统,不失为目前最成熟稳定的存储解决方案,本篇先了解传统存储问题和Ceph的优势,介绍总体架构和组成部分,说明官网文档部署和部署版本建议,了解几种部署方式,最后通过Cephadm快速部署一个简单暂无存储节点的集群,后续可以在此基础上进行高可用节点的和存储节点的扩缩容

文章图片
#开源#分布式#ceph
Apache DolphinScheduler新一代分布式工作流任务调度平台实战-中

本篇介绍Apache DolphinScheduler总体架构和设计思想,使用shell工作流演示参数的使用、传递及其优先级,通过数据源管理演示ClickHouse SQL任务类型的工作流使用步骤,最后通过一个邮件告警示例使用DolphinScheduler更加放心......

文章图片
#分布式
Java定时器演进过程和生产级分布式任务调度ElasticJob代码实战v2.5.2

本篇从Java定时器的基础理论原理开始首先认识大部分定时任务底层使用的算法如小顶堆和时间轮算法,并逐步从Jdk Timer、Jdk定时任务线程池、Spring Task、Quartz定时任务框架了解这边我们经常使用定时任务解决方案;分布式的系统存在分布式问题,底层基于Quartz的分布式调度ElasticJob正是用来解决分布式系统中常见的任务重复执行、任务负载均衡、统一任务调度、任务故障转移等,

文章图片
#java#面试#数据结构 +2
Java云原生崛起微服务框架Quarkus入门实践

不用再担心SpringBoot启动慢和内存占用大的困惑了,为K8S云原生Quarkus轻松实现快、省、灵活的特性,本篇了解Quarkus优势和性能,并从quarkus工程创建开始,实现简单编码、普通jar打包、打包二进制文件和可跨平台直接运行二进制文件,并制作成docker镜像运行验证。

文章图片
#java#云原生#微服务
企业大数据发展面临问题之存算分离技术思考

存算分离是下一代企业大数据必然趋势,本篇先简述存算分离背景以及为何要进行存算分离,当前存算分离主要优势和实际应用场景。并归纳分析若干如华为Ocean系列、JuiceFs、HashData等市面上存算分离产品和解决方案。

文章图片
#大数据#云计算
大数据实时多维OLAP分析数据库Apache Druid入门分享-上

Apache Druid是⼀款针对海量数据进⾏⾼性能实时分析OLAP引擎的实时分析型数据库,本篇了解其特征和适用场景,并与其他框架横向对比;最后部署一个单机版演示本地文件摄取入库,并演示基于Json API本地查询和SQL两种查询方式。

文章图片
#大数据#数据库#apache
    共 55 条
  • 1
  • 2
  • 3
  • 6
  • 请选择