图片

概  述

上海合合信息科技股份有限公司始终致力以AI技术创新赋能,打造多模态大模型文本智能技术,向全球C端用户和多元行业B端客户提供“真有用、真好用”的产品。公司旗下C端APP产品扫描全能王、名片全能王等产品服务了全球超过200多个国家和地区的亿级用户;B端产品已在近30个行业场景中落地。

1100+

Github star

数量超过1100

2100+

代码提交次数

达2100+

160+

Fork达到160+

20+

开源社区贡献者

已超20人

合合信息旗下产品Chaterm开源数据

合合信息2022年加入亚马逊云科技合作伙伴网络APN,与亚马逊云科技在品牌、业务、销售协同、技术和创新上均有深度的合作。合合信息构建的Chaterm等Agentic AI服务依托亚马逊云科技提供的Amazon Bedrock(仅海外业务使用)等服务,可以更灵活地调用大模型,从而打破了传统运维服务瓶颈,帮助企业大幅提升运维效率,降低运维工作的复杂性。

机会|依托Agentic AI

打造智能、高效的运维服务工具

合合信息旗下的主要产品及服务皆由公司自主研发,希望通过长期持续的技术创新,能让“机器像人类一样阅读”,从而进一步提升人类的效率。当前,合合信息在复杂场景文字识别、智能图像处理、自然语言处理、知识图谱及大数据挖掘等核心技术领域均位于行业前列。但当前云管理和运维中DevOps实践需要开发者管理成百上千台服务器和容器,由于智能化程度低,让运维复杂度急剧提升,导致运维效率下降,在批量操作、故障排查等方面都给运维的团队带来了巨大技术挑战:

批量操作繁琐:在大规模分布式系统中,运维工程师经常需要在数百台服务器上执行相同操作。虽然传统的Amazon Systems Manager Agent(SSM Agent)也能实现对集群机器的批量处理,但缺少大模型的加持,其智能化程度难以满足日常工作的需求。

知识门槛高:运维技术栈的深度和广度构成了显著的知识壁垒。运维人员需要熟练掌握多种命令行工具、脚本语言、正则表达式和系统配置知识。这种从操作系统内核到应用层的全栈知识要求,使得新手工程师至少要半年以上的实践才能应对常规问题。

故障排查复杂:在微服务架构中,故障排查演变为复杂的分布式追踪难题。当用户报告问题时,运维人员需要通过ELK Stack检索横跨API网关、订单服务、支付服务的数百条日志,结合Jaeger追踪ID关联调用链。这种跨服务、跨组件的日志关联分析,往往需要资深工程师耗费数小时才能定位到具体问题。

为更好地解决上述问题,构建更智能、高效的解决方案,合合信息选择基于亚马逊云科技的产品基础架构作为底座,借助Amazon Bedrock调用大模型的能力,面向海外的运维需求,开发了SRE Agent Chaterm。

Chaterm是一款由AI Agent驱动的智能终端工具,它能将AI能力与传统的终端功能相结合。该工具的核心理念在于通过自然语言交互,革新开发者与终端的互动方式。用户使用自然语言就能进行交互,能简化复杂的终端操作,无需记忆不同操作系统中的复杂命令语法,就能高效完成日常运维工作。

图片

解决方案|依托Amazon Bedrock

构建Agentic AI应用,突破传统运维流程

Chaterm将AI从简单的命令生成器提升为真正的运维助手,不仅能提供AI对话和终端命令执行功能,还具备Agentic AI的自动化能力,可以通过自然语言设定目标,由AI自动规划,并一步一步执行,最终达成需要处理的任务或完成需要修复的故障。无论在系统提示工程的技术优化,还是任务规划、上下文理解等方面,依托Amazon Bedrock构建的开源Agentic AI工具Chaterm都获得了重大技术突破:

系统提示工程的优化:Chaterm基于精心设计的系统提示,被定位为"拥有20年经验的资深运维专家",具备网络安全、故障排查、性能优化等多方面专业知识以及强大的解决问题的能力,这种定位使其能够从专业运维人员的视角思考问题,提供更符合最佳实践的解决方案。

任务规划与执行引擎:在任务规划方面进行了细致的优化,使得Agent能够将复杂任务自动分解为一系列逻辑步骤。

上下文感知与状态管理:合合信息对Chaterm的上下文感知和状态管理进行了深度优化。在维护执行过程中,可通过上下文信息,确保后续操作能够基于之前的结果进行,并能够感知上下文窗口进行提醒以及合适的防溢出机制。在任务管理方面,Chaterm支持任务的恢复与继续。

自适应执行与错误恢复机制:与简单的脚本执行不同,Agent具备自适应能力,能够根据每步执行结果动态调整后续计划。当遇到错误时,Agent会尝试理解错误原因,提供修复方案,并在必要时调整执行路径。

优化推理速度:Chaterm利用Amazon Bedrock提供的多项技术优化推理速度,不仅提升了海外云端资源的管理效率,还对常用提示进行缓存,进一步降低延迟和成本。在运维场景中,系统提示和工具定义等静态内容占据了大量Token,通过缓存这些内容,可以显著减少每次请求的首个令牌生成时间(TTFT),从而整体优化和提升推理速度。

此外,Chaterm还基于Amazon EKS服务构建了Agent的实时可观测性系统,通过全链路记录Agent执行过程,可实现对Agent行为的全面监控、评估和持续优化。

“依托亚马逊云科技的Amazon Bedrock、Amazon KMS等的服务,既确保了Chaterm功能的丰富性,为未来探索更多AI Agent提供了更多可能性,还有效确保了运行的安全性与可靠性。”

——段炼 Chaterm产品负责人

图片

业务成果|Agentic AI重塑运维工作流程

让运维工作化繁为简

当前,Chaterm已经开源,开源后Github star数量超过1100,Fork达到160+,代码提交次数达2100+次,开源社区的共享者已超过20位,这不仅展示了合合信息在人工智能和大数据方面的技术实力,还全面打破了传统运维工作方式,从技术门槛、高效运维等方面突破了工程师面临的核心痛点:

降低技术门槛:将Agentic AI技术融入终端后,用户无需再记忆复杂的命令语法,只要使用自然语言即可完成日常的运维工作。

提升上下文理解能力:合合信息依托于Amazon Bedrock,构建了面向海外云端资源的管理工具Chaterm,借助大模型的强大的语义的理解能力,能够清晰理解输出的信息,即使信息有误,也能通过自动分析在大量的系统日志中定位问题。

实现高效批量操作:面对大量重复任务,Chaterm可以同时在多个不同的主机或操作系统上统筹任务,并行执行操作指令,从而大大提升了运维效率。

Chaterm作为AI运维工具,未来,合合信息将依托Amazon Bedrock在海外陆续推出语音控制、自动化场景编排等功能,并扩展对多云环境的原生支持能力,为用户打造统一的多云管理界面和体验。

图片

关于合合信息

图片

上海合合信息科技股份有限公司始终致力以AI技术创新赋能,打造多模态大模型文本智能技术,向全球C端用户和多元行业B端客户提供“真有用、真好用”的产品。合合信息一直坚持“让世界更高效”的使命,依托合合信息研发队伍,通过不断的技术开发,解决用户需求,帮助企业转型数字化,通过技术创新为全球个人用户和企业客户提升效率。合合信息2022年加入亚马逊云科技合作伙伴网络APN,是亚马逊云科技Advacned级合作伙伴。

我们正处在Agentic AI爆发前夜。企业要从"成本优化"转向"创新驱动",通过完善的数据战略和AI云服务,把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域,通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验,助力企业在AI时代突破。

Logo

更多推荐