半个月前报名了一年级的“家长进校园”活动，如履薄冰，左思右想、ppt做了几个晚上，不知道该如何同孩子们讲我们现在做的事情。上周五上台前，还很是忐忑，不过真的上台了，倒是完全放开了。上台也没有想象的那么可怕， 小朋友们也很新奇，反应也很激烈，算是相互配合吧。思考点1. 受众 & 形式：•一年级•ppt图片2. 目标：•计算机科普•立足知识、智力时代，促小朋友打好基础•宣...

借助vLLM，LLM可以将批处理请求中重复部分的词元字符串（“what is the capital of”）保存在短期记忆（KV 缓存）中，并发送一个“翻译请求”，而不是两个单独的请求。为了理解请求，LLM 需要了解字词之间的关系以及如何在字词之间建立关联，与人类使用语义和推理来理解字词不同，LLM 是通过数学运算来“推理”的， 面对大量用户请求时， 需要消耗大量显存。社区引入的LMCache进

无论是agentic开发，使用LLM APi， 理解function calling 都很重要，特别是底层的请求和响应payload工作方式。ollama是服务端-客户端架构，有后台服务进程olllama.exe，提供了GUI终端和命令行工具可交互，另外提供sdk和restful api，可供各种程序或者语言操作ollama。首次推理请求， 显存使用稳定在6g, gpu使用率上升，推理结束，显存使

春节期间，qwen3.5和openclaw火到爆， 咱们让子弹飞了一阵子，目前收到的信息是 ① 大龙虾配置极其复杂，非科班生很容易失败 ② 大龙虾很费token。",它就不知道。作为大龙虾的平替， 我试用下来，门槛相对较低，资源占用很少，功能/生态完备， github上26k star。官方给出的nanobot gateway 是前台启动nanobot，不适合生产环境。① 要翻墙 ② 获取免费额度

当部署pod时，可以在pod manifest文件指定自定义的Scheduler， 这样调度器的调度决定就会基于你自定义的调度逻辑。从本质上讲，它会利用pod规格（cpu、memory、亲和性、污点、持久盘）过滤掉不适合运行特定pod的节点。pod priority： 高优先级的pod通过影响打分过程影响节点选择（高优Pod会先于低优Pod被调度）。pod拓扑分布： 确保 pod 分布在不同的拓扑

Ingress-Nginx Controller是本次业务的声明式核心控制器，确保产生满足这一规则的NodePort类型的nginx服务，注意还需前置负载提供跨节点负载均衡能力。给了一个通过Ingress引流到"hello world“ 这样的演示服务，但是它的服务竟然采用了NodePort形式，这都NodePort了，还要你Ingress作甚。外部客户端---> 任意节点（NodePort）--

作为面向算法开发者的云原生saas平台，平台在界面上提供了纳管集群的交互入口，平台启动后会去监听pytorch、mpi训练任务的状态变更，并回显到界面（并给开发者发送飞书变更通知）。最近在倒腾“AI大模型基础设施”， 目标是做一个基于云原生的AI算力平台，目前因公司隐私暂不能公开宏观背景和技术方案， 姑且记录实践中遇到的一些技能点。本文记录了使用定时任务感知资源变更，并利用golang信道作为变更

对idc内各种异构计算（GPU、CPU、NPU等）、存储（OSS、NAS、CPFS、HDFS）、网络（TCP、RDMA）资源进行抽象，统一管理和运维和分配，通过软硬协同优化，提供资源利用率。从异构资源管理的角度，可一键部署、操作各种异构资源，在运维过程中，需要多维度的异构资源可观测性： 监控、健康检查、告警、自愈等自动化运维能力。提供弹性训练和弹性推理服务， 建立统一的数据集管理，模型生命周期管理

在由LLM驱动的agent应用中，function calling（function tools）作为LLM的手脚，让LLM具备使用工具从外部获取最新信息并指导应用行为的能力，这一过程由结构化的输入输出参数来传递。从三次请求对话来看， LLM在三次对话的响应中体现了它的思考和逻辑步骤，应用持续被LLM引导做出行动，同时LLM也持续对应用的行为做出进一步观察和思考。按照我们的分析， 从LLM的视角，

对idc内各种异构计算（GPU、CPU、NPU等）、存储（OSS、NAS、CPFS、HDFS）、网络（TCP、RDMA）资源进行抽象，统一管理和运维和分配，通过软硬协同优化，提供资源利用率。从异构资源管理的角度，可一键部署、操作各种异构资源，在运维过程中，需要多维度的异构资源可观测性： 监控、健康检查、告警、自愈等自动化运维能力。提供弹性训练和弹性推理服务， 建立统一的数据集管理，模型生命周期管理