logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

分布式计算技术(上):经典计算框架MapReduce、Spark 解析

分布式计算技术按照其业务场景的不同可以分为离线计算和实时计算,本文介绍了两个具有代表性的离线计算技术MapReduce批处理引擎和Spark计算框架

文章图片
#mapreduce#spark#大数据
TDC 5.0:多集群统一纳管,构建一体化大数据云平台

此时,如果TCOS集群是一个新建的,甚至是一个异构的,比如满足新上的ARM集群,可以把存储资源TDDMS Tabletserver在这上面增加三个副本,HDFS可以把DataNode增加副本,对应的把Executor也在这个节点上部署起来,就好像为这个集群增加扩容一样,这样就实现了计算类的组件和存储类的组件都在资源富足的集群上进行跨集群的扩容,达到这个目的之后,TDC 能在跨集群对已有的组件进行扩

#人工智能#大数据#科技
案例实操:替代CDH和Elasticsearch,助力城商行构建高效统一企业级大数据底座

某城商行与星环科技合作重构大数据平台,以应对CDH架构在资源调配、性能优化等方面的瓶颈问题。新平台采用TDH和Scope统一架构,实现了PB级数据平滑迁移,计算性能提升33%,搜索效率指数级增长,资源利用率提升100%。该方案不仅保障了业务连续性,还兼容国产化生态,为银行数字化转型提供了高效稳定的数据支撑。

#大数据#elasticsearch#搜索引擎
星环科技数据血缘Agent,让数据的每一步流转都有迹可循

传统数据血缘管理面临人工追溯耗时、文档滞后、ETL 脚本解析盲区等痛点。Astro 数据血缘 Agent 凭借 SQL + ETL 双引擎,实现表级与字段级的自动化、双精度解析,全面兼容主流数据库及五种常用 ETL 工具。系统打通了从“自动解析”到“工单治理”的闭环,并支持自然语言多轮对话查询,助力企业高效掌控全局数据链路。

#科技#大数据
星环科技语义补全Agent:百万字段,从“数据天书“到智能注释

Astro语义补全智能体通过四大核心能力实现突破:1)智能元数据生成2)业务语义映射3)动态知识学习4)多模态交互。相比传统方式提升90%的元数据建设效率,将晦涩的数据字段转化为可理解的业务语言,真正实现从"数据黑盒"到"业务可读"的转变。该技术已在金融、零售等行业验证,帮助非技术人员快速理解数据资产价值。

#科技
星环科技ArgoDB:以原生多模型能力驱动数据平台AI-Ready

文章介绍了 ArgoDB 的原生多模型能力,通过统一承载关系、全文、向量、图、文档、时序等多类数据,实现跨模型检索与联合分析,为 RAG、AI Agent 和企业级智能分析提供更完整、可信的数据支撑,推动数据平台向 AI-Ready 演进

文章图片
#数据库
当编排变成Skill:Astro用方法论矩阵重塑数据生产链路

Astro 的 Skill 化编排,如何逐一破局Skill 是一份声明式的方法论规则文件——任何人都能读懂它,AI 可以直接加载它。但它不是控制 Agent 的执行脚本,而是给 Agent 的判断框架:Agent 在每一步都要拿当前上下文对照 Skill 里的条件,主动决定"这一步该不该做"。这个运行时的主动判断,是 Skill 化动态编排与传统硬编码的根本区别——也是它能接住下面三个问题的原因。

数据标准Agent ,让企业数据说同一种语言

在金融、医疗、政务等数据密集型行业,数据标准来源混杂、字段口径不一、人工贯标效率低,导致标准难以真正落地。Astro 数据标准 Agent 基于大模型语义理解和四级分类知识库,自动完成字段级标准映射,并支持推送至 TDS、创建落标检查任务与持续运营,让企业数据真正“说同一种语言”。

文章图片
#java#前端#开发语言
分布式计算技术(下):Impala、Apache Flink、星环Slipstream

实时计算的发展历史只有十几年,它与基于数据库的计算模型有本质区别,实时计算是固定的计算任务加上流动的数据,而数据库大多是固定的数据和流动的计算任务,因此实时计算平台对数据抽象、延时性、容错性、数据语义等的要求与数据库明显不同,面向实时计算的数据架构也就发展起来。Transwarp Slipstream是一款通用的实时计算引擎,使用事件驱动和批处理统一的模型,在保证毫秒级别延迟的同时,帮助用户更高效

文章图片
#apache#flink#大数据
什么是图数据库(Graph Database)?一文了解图数据库

图数据库(Graph Database)是一种以“图结构”为核心的数据管理系统,通节点(Node)、关系(Edge)和属性(Property)来表示和存储数据,重点描述数据之间的关联关系。原生图数据库的遍历速度与整个图的数据量无关,仅与搜索路径的长度成正比。例如,一个查询“找出Alice的朋友喜欢但Alice从未购买过的电子产品”,在图数据库中会被转换为一个从“Alice”节点出发,沿着“朋友”边

#数据库
    共 38 条
  • 1
  • 2
  • 3
  • 4
  • 请选择