以亚马逊云科技为例,看生成式AI时代技术架构演进的三个不变
互联网时代、移动互联网时代、云计算时代、大数据时代、云原生时代……
近二十年,我们经历了太多了的时代,而且这些时代,直到目前还纵横交织在一起。每经过一个时代,技术栈都会有或多或少的变化,对技术人员的能力都会提出新的要求,对技术架构也会带来新的挑战。
如今,我们又迎来了生成式AI的时代,技术架构又将面临哪些变与不变?
在日前举行的2024亚马逊云科中国峰会上,亚马逊云科技大中华区解决方案架构总经理代闻这样认为,“所有技术工作者应当主动拥抱生成式 AI,积极地升级技能、积极地去应用这项变革性的技术;同时,在技术架构的演进过程中锚定不变的原则,在技术变革的浪潮中找到前进的灯塔方向。”

而这“锚定不变的原则”,代闻总结为基础组件能力、架构体系创新、多元技术融合三个方面。亚马逊云科技作为全球云技术风向标企业,围绕这三个方面进行了丰富的实践。
基础组件能力决定了架构设计
云计算的最基础组件是计算、存储和网络,其中又以计算作为最核心的组件。Amazon EC2在2006年发布,亚马逊云科技用了11年时间,在2017年将Amazon EC2做到了70种;随后到2023年,Amazon EC2的数量种类从70种发展到了750种,为所有的负载提供合适的计算实例。这其中,2017年发布的Amazon Nitro虚拟化平台,将安全、管理和监控也卸载到了硬件上,将主机算力近乎100%地提供给客户,并且进一步加强了虚拟化的安全。更重要的是,实现了虚拟化平台和服务器选择的解耦,因此底层的虚拟化技术创新和上层的服务器种类发展可以并行展开。目前,亚马逊云科技已发布了五代Amazon Nitro芯片,持续在网络性能、存储性能和安全上加固,以获得更低的延迟、更高的吞吐量以及每秒处理更多数据包的能力。
存储方面,在最新的Amazon Nitro平台支持下,单个虚拟机的最大IOPS可以到400K,存储带宽可以到100Gbps。同时,亚马逊云科技重写了主机和闪存之间的闪存转换层算法,并且将其运行到Amazon Nitro系统的一块芯片里,由此带来了SSD访问延迟降低60%,抖动减少75%。
依托于Amazon Nitro,亚马逊云科技开发了新的网络传输协议SRD(Scalable Reliable Datagram)、数据中心路由协议SIDR(Scalable Intent Driven Routing)、超大规模数据中心网络 UltraCluster,实现最大化利用网络带宽,亚秒级的路由收敛,从而进一步扩大数据中心网络的规模。
可以说,Amazon Nitro就是基础组件里面的“不变”因子,是架构演进在基础软件层面的定海神针。
架构体系创新拓展核心能力
架构体系创新,集中体现在韧性和弹性两个方面。
在技术架构中,如何应对不可控制的外部风险、管理不善造成的内部风险,是“韧性”要解决的主要课题。亚马逊云科技将“韧性”根植于服务的设计之中,不同级别的服务有对应的、隔离的控制面和数据面,并逐层实施隔离,其中主要是通过Amazon IAM提供高可靠的访问控制服务。亚马逊云科技将Amazon IAM设计为控制平面和数据平面两部分,控制平面接受权限更改的请求,然后下发策略信息给到右边的各个区域的数据平面;数据平面独立存在于每个区域,该区域中的每个云服务都直接与Amazon IAM数据平面交互,由其处理本区域内所有访问控制请求。Amazon IAM在每个区域的数据平面都采用了单元架构(Cell-based Architecture)来实现高可用。因此,基于多区域的控制面与数据面的隔离、区域内单元架构,Amazon IAM实现了全球高可靠架构。目前,Amazon IAM每秒处理已超十亿次调用,成为亚马逊云科技服务高韧性的安全基石。
当前,“弹性”创新主要集中在Serverless上,为此亚马逊云科技做了Firecracker、Amazon Lambda SnapStart、Caspian几项创新。
Firecracker是一项轻量级虚拟化技术,具有多层隔离和保护,支持多租户。Firecracker基于KVM构建微虚拟机,使用最小化的虚拟化设备模型,只包含运行微虚拟机所需的必要组件,借助硬件虚拟化快速启动和管理容器化工作负载,同时由于Firecracker进程使用控制组进行隔离,并最小化系统调用的访问权限,从而大大降低了内核攻击面。
Amazon Lambda SnapStart是用来改善Java 函数冷启动问题的技术。借助Amazon Lambda SnapStart,Amazon Lambda可以从缓存的快照恢复,函数通常可以比之前启动快10倍,并且不需要修改任何代码。
Caspian则融合了虚拟化管理、热管理计划的系统,针对数据库引擎完成了特性改写,从而实现了类似“多库同宿主,允许共享预留”的逻辑。一方面,在每个Serverless 数据库启动时,Caspian预先为数据库虚拟化OS分配物理机全部内存,但实际使用内容限制为只是数据库所申请的内存大小;另一方,当物理机上的多个数据库真正使用完了所有物理内存并且弹性触发需要申请更多的时候,Caspian会触发算法逻辑,让最合适的内存保留状态并凭借高速网络会把数据库实例迁移到另外的物理机,再给申请的数据库扩容内存。
多元技术融合驱动架构创新
现代应用的新时代多元化需求包括对生成式AI的智能体验、可持续发展、合规等。因此,应用架构必需要打开思路, 做出过去从没做过的创新。
在代闻看来,多元的需求首先是用多元的技术各个击破。他相信,只有“专门构建”才能在单一技术上实现最优性能和成本。为此,亚马逊云科技专门构建了各种数据服务,包括关系型数据库、非关系型数据库、数据仓库,以及各种批式/流式的数据采集和分析服务。而面对生成式AI应用催生新的数据架构,亚马逊云科技以RAG工程化手段融合多种数据库的需要,通过用户端到后端之间的一系列架构组件来解决。每一个组件在具体实现时,需要根据实际的应用场景选择合适的平台服务。
针对“专门构建”虽高效支撑了业务依赖的技术特性但没有解决数据同步、不同数据引擎同步数据的解决方案ETL费人费力等问题,亚马逊云科技的Zero-ETL建立了存储层的独立扩展、数据的独立同步等基础能力,催生了数据流动自动发生的创新可能。目前,亚马逊云科技已提供6项Zero ETL的能力,使得客户能够将Amazon Aurora、Amazon Dynamo DB等关系型和非关系型实时数据自动同步到Amazon Redshift数据仓库进行分析,或是将Amazon DocumentDB、Amazon DynamoDB等非关系型数据自动ETL到Amazon OpenSearch进行高级检索。
整体应用架构是多元技术均衡的结果,需要考虑成本、合规、扩展性、可持续发展、韧性、安全、性能、访问可达性、可用性等诸多因素,需要在不同的场景下对不同的需求,通过一系列的折中取舍而持续优化。一个良好的架构应该能够随着多元因素的影响不断演进,而亚马逊云科技的优良架构体系(Well-Architected Framework)则做出了一个好的表率,在推出的这十多年里持续进化,到目前已演进到卓越运营、安全、可靠、性能效率、可持续发展、成本优化等六个维度。
过去十年,云计算为创新和创业提供了前所未有的便利;未来十年,生成式AI将重塑各行各业。在这个过程中,技术架构演进也将同步进行,技术人员不应惧怕,只要看清变化的技术和不变的需求,把握好三个不变的主题——基础组件能力、架构体系创新、多元技术融合,就能让自己在技术浪潮不彷徨、不迷路。
更多推荐



所有评论(0)