云卷云舒:算力网络+云原生(中):探索构建算力网络数据库
这里的资源包括传统的IDC资源、服务器和硬件资源、各类数据库产品和生态工具,以及丰富可控、可智能编排的网络(云内、云间、核心传输等),这里面运营商有着巨大的优势,未来会有更多的数据库迁移到国有的云运营商上。笔者也大胆预测一条,数据库的边界与存储将进一步模糊,具有智能和管控的存储也将是数据库领域未来必将考虑的一条路,但是同时带来的产品非标的情况将进一步劣化,需要做好数据库平台化的管控方能解决这个问题
云卷云舒:算力网络+云原生(上):打造云网边端协同架构_算力网络和云原生-CSDN博客
算力网络时代的数据库是什么样子的?算力网络是数据库的第二春,那么算力网络和数据库是什么关系。
一、业界两种看法
1、算力网络赋予了数据库新的时代意义:
算力网络下,需要数据库提供特殊的技术支持。以应对大容量、分布式、低成本、智能调度的需求;
2、数据库基于算力网络构建:
数据库本身就是一种“基于算力网络”所构建的,呈现出一种全新的形态。
那么,到底是哪一种呢?这是一个值得探索的课题,本文简单的做一下个人思考的分享,欢迎讨论。
二、导言
1、基础要求:
算力网络时代,数据类型、范围充分延展和爆发,数据库也要适应起来,分布式数据库是起步要求;
2、近期需求:
通过云服务的方式提供算网时代,尤其是智能大模型所需要的向量数据库,赋能大模型接入提效;
3、战略机遇:
算网数据库是一个双向赋能的产物,会催生更多新型形态的数据库产品,数据库服务于算力网络、也受益于算力网络。
三、算力网络时代数据库的特征
1、形态多样,内核丰富:
数据库要满足的应用场景得到延展,必然会覆盖HTAP、多模向量、代理/网关数据库等多种形态;
2、构建标准:
云原生将必然成为事实标准,云原生的极致弹性、标准分层内生、不可变基础设施等概念和优势将充分发挥。目前看来也只有“云原生”可以一统江湖,让大家守江湖规矩,避免畸形的技术发展,算网原生是未来一个标准趋势。
3、技术要求:
- 智能:算力网络情况下的资源调度必然成为常态,应对数据分散和传输必然需要智能化手段保证;另外数据的实体分散对于属地化独立分散的运维来讲将变得不可行,智能运维手段是必选;大模型在数据库查询检索效率提升方面的应用也将越发广泛;
- 容量:智能会促使数据几何增长,整个网络所能管理的节点、关系上限就对数据库容量提出要求。所以说容量也将是新的数据库技术竞争高地;
- 软硬融合:与硬件融合,而且与算力设备的兼容将成为必选,包括主节点硬件一体化保证元数据存储扩展性和安全,分节点需要保证快速入网,实现对于不同品牌的国产化设备的兼容性保证;后续对于产品的纳管也将包括硬件、协议、组件、设备内网络等新的部分。
- 深度分布式:算力网络时代,全省甚至全国计算资源并网,带来了数据库极大分散,那么数据的碎片化程度必然更高,只有和智能手段结合,才能补齐分布存储的传输压力;
- 平台化布局:不言而喻,平台化要解决数据库分层管控问题、产品规格差异性底座协同问题、数据库内核和镜像版本管理、开放能力等难题。
4、技术壁垒降低:
随着国产化的崛起,数据库技术的新竞争高地将转移,并向上转移,从传统的内核壁垒转向上层,我们姑且称之为“分布式智能调度内核”,管控的重要性不言而喻,从而国内广大的国产化数据库厂商将崛起,呈现百花齐放的竞争态势;
5、数据库all卸载:
笔者也大胆预测一条,数据库的边界与存储将进一步模糊,具有智能和管控的存储也将是数据库领域未来必将考虑的一条路,但是同时带来的产品非标的情况将进一步劣化,需要做好数据库平台化的管控方能解决这个问题。
四、突破口、演进路线探索
1、统一标准,构建上层智能分布式调度的标准将是未来实现引领的杀手锏,分层设计需要考虑到运营输入层、运算引擎层、运算接入层,每一层基于云原生构建规范标准,跨层通信构建分布式、解耦的新传输协议,可以说是一种更高级别的分布式系统;
2、人工智能和大模型场景,可能是未来算力网络数据库的一个突破口,这后面不仅仅是一个突破口,后面隐藏着巨大的蓝海,比如智算平台数据、大模型数据缓存、模型版本管理等。
3、数据库卸载到存储,数据库的特性在算力网络时代必将分散化到多点,极致分散化的数据库可能就是一个捎带智能化和管控能力的存储,一切为了“最低成本的满足需求”,被调度的需求。所以基于高效存储构建一些极致简单的数据库,不失为一种选择;
5、掌握资源将掌握未来算网数据库发展的先机,这里的资源包括传统的IDC资源、服务器和硬件资源、各类数据库产品和生态工具,以及丰富可控、可智能编排的网络(云内、云间、核心传输等),这里面运营商有着巨大的优势,未来会有更多的数据库迁移到国有的云运营商上。
最后回答开头的问题,二者并不矛盾,需要做好技术储备和关键预研,二者皆有可能,且可以同步发展,要看产业化的需求的爆发点先在哪里产生。
参考:
更多推荐
所有评论(0)