ai后端设计 https://github.com/sgl-project/sglang。

note

任何需要复用的功能模块都可封装为工具函数封装系统差异，提供统一接口, 核心功能集中管理

刚刚学习了VLLM推理运行器——这些实用的脚本让DeepSeek-OCR行动起来现在了解到这些脚本：*作为DeepSeek-OCR的指挥中心。*使用`vLLM`引擎进行超快速推理。*处理模型设置、输入准备、特定规则下的输出生成和后处理。*针对不同任务（如单个图像、批量或PDF）进行了专门设计。

他特别强调了开源模型的关键角色，并以DeepSeek-R1为例，指出当强大的推理模型被广泛可用时，它不仅改变了软件本身，更激活了整个架构栈的需求，加速了应用层的技术采用，并增加了对底层训练、基础设施、芯片和能源的需求。能源层之上是芯片层，作为算力的物理基础，这也是英伟达的核心领地，黄仁勋指出，AI工作负载需要极其庞大的并行计算能力、高带宽内存以及快速的互连，芯片层的进步直接决定了AI的扩展速度，以

99%准确率有LongMemEval实验支撑，开源计划也符合团队历史轨迹，算是AI记忆领域的实质性突破。就像学霸复习时不平均用力，而是重点攻克难点，这让AI理解复杂问题的能力大幅提升。其价值不在于简单的数字提升（从100万到1亿），而在于为AI赋予了“经验的连续性”和“认知的累积性”谁能主宰记忆，谁就能塑造真正具有深度、连贯性与个性化的智能。这场关于记忆的战争，刚刚吹响号角。当算力与参数规模竞争进

真正的成长源于"正确的事重复做"——护肤需早睡+清淡饮食，健身靠持续锻炼，事业成于不断重复。时间会给坚持者答案。MiniCPM是由清华、人大与面壁智能联合开发的轻量级多模态大模型，8B参数实现GPT-4O级性能，支持手机端离线运行且可免费商用。声称2025年实现51.15%回报率，日均交易超10亿美元，Sharpe比率2.13，表现超过桥水等传统量化机构。一行代码就能把杂乱网页变成AI能读懂的干净

亚马逊Trainium3：144GB HBM3e｜4.9TB/s带宽｜144芯片可扩展｜Claude/OpenAI在用。英伟达Rubin：288GB HBM4内存｜3.6TB/s NVLink互联｜专为智能体AI设计的行业标杆。Cerebras WSE-3：4万亿晶体管｜44GB片上SRAM｜21PB/s带宽｜整块晶圆芯片无传输瓶颈。谷歌TPU v7：192GB HBM｜7.37TB/s带宽｜92

推理过程就是缓慢的，找一条流形上更优的在某个shell 内的测地距离，配合提示词，找到通向目标概念的局部最佳路径。"东数西算"战略布局，内蒙古等地的风电光伏直接对接数据中心，把电力包装成"词元"(Token)出口——DeepSeek V3每百万词元仅1-2元，不足GPT-5价格的1/50。“语言模型的向量空间里，不是纯离散的点，而是一个连续的平滑语义地图，真实世界的语言是这个高维流形中采样的点”进

2. **上下文焦虑破解**：针对模型在长任务中"提前投降"现象，旧版需上下文重置（Claude 3.5 Sonnet每完成功能即重置），新版Opus 4.6凭借100万token窗口实现连续工作，验证了"工具带进化"理论——模型进步会使部分辅助机制过时。3. **三级代理协同**：规划代理将简单提示扩展为详细规范并拆解任务；1. Anthropic内测Claude Mythos 5.0（卡皮巴拉