logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【浅谈Spark和Flink区别及应用】

Flink和Spark是两大主流大数据计算框架,核心差异在于计算模型:Flink采用流优先架构,支持真正的实时处理(毫秒级延迟)和精准状态管理;Spark基于批处理模型,流处理采用微批方式(秒级延迟)。Flink适合实时计算和流批统一场景,Spark在批处理(如ETL、数据分析)和机器学习方面更具优势。Flink容错机制更轻量,Spark生态工具更成熟。选择取决于业务需求:实时处理选Flink,离

文章图片
#spark#flink#大数据 +3
华为大数据平台-FusionInsight MRS

关于华为的大数据平台,MRS是集成一些开源的大数据组件,有自己的运维和安全管理系统Manager,中间也做了一些默认的集成,比如Hudi和Hive的同步数据等等。

文章图片
#大数据#hadoop#hive +3
数据治理核心方法和思路

数据资产梳理、数据建模、数据标准、数据治理、数据汇聚、数据联接、数据服务及应用。

文章图片
#大数据#hive#数据库 +4
国产化自研-全栈式大数据治理平台

欢迎各领域合作,共建数字化企业!!

文章图片
#大数据
架构设计方法(4A架构)-信息架构

属性是用来描述所属业务对象的性质和特征。1、考虑技术约束和考量、应用要求、性能要求,支撑详细的数据需求和业务规则的实施,设计出的数据在IT系统中的具体存储结构。2、是面向计算机物理表示的具体实现模型,与具体的DBMS类型有关。

文章图片
#架构#大数据#hive +4
【浅谈国产化大数据软件及发展趋势】

当下的祖国各方面都在不断成长,有些领域在国际中也占据着重要地位,各个企业如今都在大力的支持国产化的软件,当然国产化的软件就像一个刚成长的孩子,需要给予鼓励和支持,而不是打压。如今企业中不乏有些个别声音在说,国产化软件和国外软件存在差距,这确实是存在的,我们也要正视差距,缩小差距,勇于赶超。通过实际应用不断优化软件功能,提高用户体验,增强软件的市场竞争力。(4)政策支持:随着国家对信息技术自主可控的

文章图片
#大数据
华为大数据平台-FusionInsight MRS

关于华为的大数据平台,MRS是集成一些开源的大数据组件,有自己的运维和安全管理系统Manager,中间也做了一些默认的集成,比如Hudi和Hive的同步数据等等。

文章图片
#大数据#hadoop#hive +3
到底了