
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
摘要: Apache Iceberg 和 Apache Paimon 是两种主流的数据湖表格式,分别针对不同场景优化。Iceberg 以开放性和多引擎兼容性为核心,v3 版本引入删除向量(BinaryDeletionVectors)、行级血缘(RowLineage)和半结构化支持(VARIANT),适合跨云、多引擎协作的企业级湖仓。Paimon 则基于 LSM-Tree 架构,专为流式处理设计,支
作者|物易云通 / 司机宝大数据负责人 吴凡武汉物易云通网络科技有限公司成立于 2015 年 6 月,总部位于湖北省武汉市东湖高新区。作为国内产业互联网的探索先行者,公司致力于将产业互联网思维与新一代信息技术深化应用于煤炭、建筑、再生资源三大业务领域,以标准化、场景化、数字化的供应链综合服务解决能力,开创互联网化的 “供应链技术 + 物流服务 + 金融场景” 的产融协同新生态。目前公司已成为国内产
实现 Flink 消费 Kafka 数据实时落Apache doris数据仓库(KFD)1.概述Apache Doris(原百度 Palo)是一款基于大规模并行处理技术的分布式 SQL 数据仓库,由百度在 2017 年开源,2018 年 8 月进入 Apache 孵化器。Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apa
作者|同程数科大数据高级工程师 王星同程数科是同程集团旗下的旅游产业金融服务平台,前身是同程金服,正式成立于 2015 年。同程数科以“数字科技引领旅游产业”为愿景,坚持以科技的力量,赋能我国旅游产业。目前,同程数科的业务涵盖产业金融服务、消费金融服务、金融科技及数字科技等板块,累计服务覆盖超过千万用户和 76 座城市。图1.1 业务场景-业务介绍主要包含四大类:图1.2 业务场景-业务需求综合以
Semantic View(语义视图),本质上是在数据之上加一层“可理解的业务语义层”,把底层复杂的数据结构(表、字段、Join、计算逻辑)抽象成业务可读、可复用的指标与维度。一个像样的 Semantic View,通常至少要解决这些事:抽象:把物理表结构抽象成业务对象(指标、维度、实体关系)一致:指标定义一次,多工具复用,少写一堆重复 SQL可治理:权限、审计、血缘、认证等跟着语义对象走AI 就
Semantic View(语义视图),本质上是在数据之上加一层“可理解的业务语义层”,把底层复杂的数据结构(表、字段、Join、计算逻辑)抽象成业务可读、可复用的指标与维度。一个像样的 Semantic View,通常至少要解决这些事:抽象:把物理表结构抽象成业务对象(指标、维度、实体关系)一致:指标定义一次,多工具复用,少写一堆重复 SQL可治理:权限、审计、血缘、认证等跟着语义对象走AI 就
摘要:2025年起全球云服务和存储芯片价格大幅上涨,企业数据平台成本压力剧增。云器Lakehouse通过Serverless按秒计费、存算分离、一体化架构等方案有效降低TCO:1)计算成本节省50%+;2)存储扩容独立管理;3)网络费用优化;4)隐性运维成本减少。火花思维案例显示,该方案可实现零迁移成本、性能提升3-10倍的同时降低60%费用。建议企业从工作负载盘点入手,采用隔离资源池、智能缓存等
选 1~2 条最关键链路(实验/增长/风控/推荐等),把全量重算改成增量化,先把新鲜度做出来。把 Catalog、权限、口径这些治理要素统一起来,至少让数据资产“可发现、可解释、可复现”。选一个能闭环的 AI 场景(对话式分析、运营 Copilot、知识问答等),用 Data Agent 把流程跑起来,而不是只做Demo。等你这三件事跑顺了,再谈“统一智能基座”,就不是概念了。
火花思维技术团队通过引入云器Lakehouse引擎,成功解决了开源Spark在性能、成本和AI能力方面的瓶颈。采用分阶段升级策略,首先通过外表模式实现"零迁移、换引擎",保持原有数据存储和平台不变,仅替换计算引擎。实际生产数据显示:高消耗任务性能提升3-10倍,计算成本降低60%以上,数据时效从T+1提升至H+1,且迁移工作量趋近于零。这一升级不仅实现了降本增效,还为后续Kap

作者|同程数科大数据高级工程师 王星同程数科是同程集团旗下的旅游产业金融服务平台,前身是同程金服,正式成立于 2015 年。同程数科以“数字科技引领旅游产业”为愿景,坚持以科技的力量,赋能我国旅游产业。目前,同程数科的业务涵盖产业金融服务、消费金融服务、金融科技及数字科技等板块,累计服务覆盖超过千万用户和 76 座城市。图1.1 业务场景-业务介绍主要包含四大类:图1.2 业务场景-业务需求综合以







