logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

案例实操:替代CDH和Elasticsearch,助力城商行构建高效统一企业级大数据底座

某城商行与星环科技合作重构大数据平台,以应对CDH架构在资源调配、性能优化等方面的瓶颈问题。新平台采用TDH和Scope统一架构,实现了PB级数据平滑迁移,计算性能提升33%,搜索效率指数级增长,资源利用率提升100%。该方案不仅保障了业务连续性,还兼容国产化生态,为银行数字化转型提供了高效稳定的数据支撑。

#大数据#elasticsearch#搜索引擎
什么是图数据库(Graph Database)?一文了解图数据库

图数据库(Graph Database)是一种以“图结构”为核心的数据管理系统,通节点(Node)、关系(Edge)和属性(Property)来表示和存储数据,重点描述数据之间的关联关系。原生图数据库的遍历速度与整个图的数据量无关,仅与搜索路径的长度成正比。例如,一个查询“找出Alice的朋友喜欢但Alice从未购买过的电子产品”,在图数据库中会被转换为一个从“Alice”节点出发,沿着“朋友”边

#数据库
什么是分布式数据库?一文了解分布式数据库

ArgoDB 在兼容主流 SQL 标准的基础上,扩展支持 OLAP 语法和存储过程,兼容 MySQL、Oracle 等多种数据库方言,并与国内外主流数据库和工具高度兼容,为用户提供全面的数据库开发支持,具备高扩展、高性能、高安全、高可用、高兼容、易运维等特性,已助力政府、金融、医疗、交通等多个行业用户实现自主创新升级。在互联网、金融、电信、制造、政务等行业,分布式数据库常被用于承载核心业务数据、分

#数据库
支持多模型数据分析探索的存算分离湖仓一体架构解析(下)

此外,设计上Delta Lake并不提供主键,因此高并发的update/delete不如Hudi,也不提供类似Iceberg的元数据级别的查询优化,因此查询性能上可能不如Iceberg,但是Delta Lake强调的是结合Spark形成的流批一体的数据架构以及对机器学习类应用的原生API级别的支持,可适用的业务场景有很好的普遍性。在我们的设计中,快照不需要持久化,无需增加大量的物理存储,而是一个轻

文章图片
#数据库#大数据#数据仓库
支持多模型数据分析探索的存算分离湖仓一体架构解析(上)

传统的企业数据湖大多是基于Hadoop或云存储来建设,为数据科学和机器学习任务提供半结构化和非结构化的数据能力。企业的BI和业务分析等需要数据的加工过程有严格的一致性保障,在分析过程中有优秀的SQL性能,而开源Hadoop或云存储并不具备这些能力,因此企业需要建设独立的数据仓库系统来支撑这类业务,从而就有了“数据湖+数据仓库”的混合架构。混合架构带来了更高的建设成本、管理成本和业务开发成本。

文章图片
#数据分析#架构#数据仓库
走向统一的异构算力抽象:星环科技在寒武纪、海光适配与 DRA 建模的实践

企业级大模型场景下,如何统一管理寒武纪、海光等国产GPU成为关键挑战。星环科技通过HAMi平台实现跨厂商、跨架构的统一调度,解决了多型号混布、设备ID不唯一、指标采集不一致等问题。团队针对寒武纪优化了sMLU动态切片机制,为海光建立了硬件序列号映射,并利用Kubernetes DRA构建标准化算力抽象体系。该方案已在LLMOps平台落地,实现多租户隔离、资源组管理及高密度混部,显著提升资源利用率,

#科技#人工智能
从开源大模型工具Ollama存在安全隐患思考企业级大模型应用如何严守安全红线

在数据、语料和知识处理和管理层面,平台支持丰富的非结构化数据解析,同时对数据进行严格的加密处理,确保数据在传输和存储过程中的安全性;目前,企业部署大模型需求非常火热,Sophon LLMOps 作为一款企业级大模型运营管理平台,构建了全方位的安全防护体系,针对AI应用输出内容的安全性,Sophon LLMOps对用户输入和模型、应用的输出进行全方位的安全防护。同时,平台还对应用的输出内容进行严格的

#安全#语言模型#人工智能
探索Parquet格式:实现高效数据存储与优化查询性能

在星环TDH平台中,Parquet作为开放的列式存储格式,通过深度集成支持外部数据的高效接入与分析,并与平台的多模型存储引擎协同,辅助实现从采集到分析的数据流转。每个 schema 包含多个字段,每一个字段又可以包含多个字段,每一个字段有三个属性:repetition、type 和 name,其中 repetiton 可以是以下三种:required(出现1次),repeated(出现0次或多次)

#大数据#人工智能#数据库
什么是 LLMOps?一文解析大语言模型运维(LLMOps)

平台通过打通并优化语料接入与开发、提示工程、大模型训练、知识抽取与融合、模型管理、应用与智能体构建、应用部署、运维监控以及业务效果对齐提升的全链路流程,为企业提供了一站式解决方案。LLMOps(Large Language Model Operations,大语言模型运维) 是指围绕大语言模型(LLM)在数据准备、模型训练、部署、监控和持续优化等全生命周期中的一整套管理和运维方法论与实践体系。2.

#深度学习#人工智能
“芯库“共赢,ArgoDB携手国产处理器完成兼容适配,共筑数智安全根基

【摘要】国产数据库ArgoDB与主流国产处理器完成深度适配,构建全栈自主技术生态。星环科技分布式数据库ArgoDB V6.0已实现对飞腾、鲲鹏、兆芯、海光、龙芯、申威六大国产处理器架构的全覆盖兼容,形成从芯片到系统的安全闭环。通过湖仓集一体架构创新,ArgoDB实现多模数据统一处理、HTAP混合负载等能力,性能达海外竞品14倍以上。其与国产芯片的协同优化,在政务、金融、国防等高安全场景中提供端到端

#硬件架构#数据库
    共 24 条
  • 1
  • 2
  • 3
  • 请选择