logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

云原生AI算力平台 阶段性解读

对idc内各种异构计算(GPU、CPU、NPU等)、存储(OSS、NAS、CPFS、HDFS)、网络(TCP、RDMA)资源进行抽象,统一管理和运维和分配,通过软硬协同优化,提供资源利用率。从异构资源管理的角度,可一键部署、操作各种异构资源,在运维过程中,需要多维度的异构资源可观测性: 监控、健康检查、告警、自愈等自动化运维能力。提供弹性训练和弹性推理服务, 建立统一的数据集管理,模型生命周期管理

#云原生#人工智能
我不允许谁还不清楚function call在AI-Agent领域中打手的地位

在由LLM驱动的agent应用中,function calling(function tools)作为LLM的手脚,让LLM具备使用工具从外部获取最新信息并指导应用行为的能力,这一过程由结构化的输入输出参数来传递。从三次请求对话来看, LLM在三次对话的响应中体现了它的思考和逻辑步骤,应用持续被LLM引导做出行动,同时LLM也持续对应用的行为做出进一步观察和思考。按照我们的分析, 从LLM的视角,

#人工智能
云原生AI算力平台阶段性解读

对idc内各种异构计算(GPU、CPU、NPU等)、存储(OSS、NAS、CPFS、HDFS)、网络(TCP、RDMA)资源进行抽象,统一管理和运维和分配,通过软硬协同优化,提供资源利用率。从异构资源管理的角度,可一键部署、操作各种异构资源,在运维过程中,需要多维度的异构资源可观测性: 监控、健康检查、告警、自愈等自动化运维能力。提供弹性训练和弹性推理服务, 建立统一的数据集管理,模型生命周期管理

#云原生#人工智能
Higress这个中登才是AI时代网关的心头好

这里留一个问题: ingress-nginx-controller,higress-gateway svc占据了metalLb分配的2个ip,如何在不通知运维切换的情况下,固定一个ip。② apply的时候,会被ingress nginx的准入机制拦截, 需要先删除准入机制,该行为不影响ingress-nginx-controller行为。api控制台模式:通过过API控制台界面或者API配置,提

#人工智能
超性感的openclaw低门槛平替,我给你打call

春节期间,qwen3.5和openclaw火到爆, 咱们让子弹飞了一阵子,目前收到的信息是 ① 大龙虾配置极其复杂,非科班生很容易失败 ② 大龙虾很费token。",它就不知道。作为大龙虾的平替, 我试用下来,门槛相对较低,资源占用很少,功能/生态完备, github上26k star。官方给出的nanobot gateway 是前台启动nanobot,不适合生产环境。① 要翻墙 ② 获取免费额度

超性感的openclaw低门槛平替,我给你打call

春节期间,qwen3.5和openclaw火到爆, 咱们让子弹飞了一阵子,目前收到的信息是 ① 大龙虾配置极其复杂,非科班生很容易失败 ② 大龙虾很费token。",它就不知道。作为大龙虾的平替, 我试用下来,门槛相对较低,资源占用很少,功能/生态完备, github上26k star。官方给出的nanobot gateway 是前台启动nanobot,不适合生产环境。① 要翻墙 ② 获取免费额度

还有比ollama更傻瓜式的大模型本地部署方式吗 ?

无论是agentic开发,使用LLM APi, 理解function calling 都很重要,特别是底层的请求和响应payload工作方式。ollama是服务端-客户端架构,有后台服务进程olllama.exe,提供了GUI终端和命令行工具可交互,另外提供sdk和restful api,可供各种程序或者语言操作ollama。首次推理请求, 显存使用稳定在6g, gpu使用率上升,推理结束,显存使

使用curl指令发起websocket请求

昨日的文章没指出websocket请求协商切换的精髓,删除重发。前文相关:•.NET WebSockets 核心原理初体验[1]•SignalR 从开发到生产部署避坑指南[2]tag:浏览器--->nginx--> server其中提到nginx默认不会为客户端转发Upgrade、Connection标头[3], 因为为了让被代理的后端服务器知道客户端要升级协议,故要在nginx上..

#java#nginx#http +1
如何利用.NETCore向Azure EventHubs准实时批量发送数据?

最近在做一个基于Azure云的物联网分析项目:.netcore采集程序向Azure事件中心(EventHubs)发送数据,通过Azure EventHubs Capture转储到Azur...

C#位图BitArray 小试牛刀

前面聊了布隆过滤器,回归认识一下位图BitMap,阅读前文的同学应该发现了布隆过滤器本身就是基于位图,是位图的一种改进。难缠的布隆过滤器,这次终于通透了位图先看一个问题, 假如有1千万个整...

#数据结构#算法#html +1
    共 11 条
  • 1
  • 2
  • 请选择