DeepSeek 把支撑自家线上服务的推理框架 DeepInfer 开源了，同时放出一份部署问答，讲清了 V4.1 Flash 的线上服务是怎么搭起来的。这次开源只包含离线推理，但其中的工程思路，做推理的人都值得看一遍。能跑什么：DeepSeek-V4.1-Flash 离线推理，硬件为英伟达 SM100 或昇腾 950，在线服务所需的 KV 缓存与负载均衡需自建。最值得学：Wide-EP 大规模专

DeepSeek 把支撑自家线上服务的推理框架 DeepInfer 开源了，同时放出一份部署问答，讲清了 V4.1 Flash 的线上服务是怎么搭起来的。这次开源只包含离线推理，但其中的工程思路，做推理的人都值得看一遍。能跑什么：DeepSeek-V4.1-Flash 离线推理，硬件为英伟达 SM100 或昇腾 950，在线服务所需的 KV 缓存与负载均衡需自建。最值得学：Wide-EP 大规模专

Strix 是一款开源的 AI 渗透测试工具，用一组能像真实黑客一样工作的自主智能体，动态运行你的代码、发现漏洞，并通过真实的漏洞利用（PoC）来验证——而不是像传统静态扫描工具那样只给出一堆待人工复核的疑似告警。它面向需要快速、准确安全测试的开发者和安全团队，目标是把原本要几周的人工渗透测试压缩到几个小时。

大模型推理的瓶颈常常不是算力，而是装不下更多请求的 KV 缓存。vLLM 的 PagedAttention 借用操作系统的虚拟内存思路，把 KV 缓存切成固定大小的块，按需分配、用块表映射，几乎消除了显存碎片，还能在多个请求之间共享块。原论文（SOSP 2023）的实验里，相同延迟下吞吐比 FasterTransformer 和 Orca 高 2 到 4 倍。我还写了一个小模拟器，把这套机制跑了一

Twenty 是 GitHub 上约 5.8 万星的开源 CRM，官方定位是“为 AI 设计的 Salesforce 开源替代品”。它自带 AI 对话助手和工作流 Agent，并原生提供 MCP 服务，Claude Code、Cursor、ChatGPT 等 Agent 授权后，可以直接用自然语言读写客户数据。

如果我告诉你,有人只花了 173 美元、用一块 Colab 的 A100 显卡,就微调出了一个在特定任务上打赢 20 倍参数量大模型的 4B 小模型,你的第一反应大概率是"这是营销号吹牛"。但这件事背后其实有着扎实的理论支撑:斯坦福、MIT、哈佛 Kempner 研究所和 Anthropic 联合发表的论文揭示了大模型聪明的真正原因,而这个原因反过来推导,恰恰说明了小模型微调在垂直场景下"以小博大

Langfuse 是一个开源的 LLM 工程平台，帮助团队协作开发、监控、评估和调试 AI 应用。它把追踪(Tracing)、提示词管理、评估、数据集和 Playground 整合到同一个系统里，既可以用云端托管版，也能在 5 分钟内用 Docker Compose 自托管。项目由 YC W23 孵化，基于 ClickHouse 构建，已被大量开源 AI 项目采用为默认可观测方案。

Opik 是 Comet 团队开源的一站式 LLM 应用可观测、评估与优化平台，覆盖从原型到生产的全生命周期。无论是 RAG 问答、代码助手还是复杂的 Agent 系统，Opik 都能提供完整的调用链路追踪、自动化评估以及提示词/工具的自动优化能力，让开发者不再靠"猜"来判断模型效果好坏。项目已支持 40M+/天 的生产级追踪量，并原生集成了数十种主流 LLM 框架。

LiteLLM 是一个开源 AI Gateway，把 OpenAI、Anthropic、Gemini、Bedrock、Azure 等 100+ 大模型供应商统一成一套 OpenAI 格式的接口——换供应商不用重写代码，一行代码切换模型。既可以当 Python SDK 直接嵌进代码里用，也可以部署成独立的代理服务（AI Gateway）给团队统一管理密钥、限流和计费，1000 RPS 下 P95 延

K8s + Ray + PyTorch + vLLM 是当前大模型工程里出现频率很高的一套组合，但网上大多数文章只谈"为什么好"，很少给出真正能跑、能验证的完整链路。这篇文章分两部分：先做定位分析——四个组件到底各自解决什么问题、边界在哪里；再给出一条贯穿数据处理、预训练、后训练（RLHF）、在线推理、Agent 五个阶段的最小可运行示例，每一段代码和命令都对照官方文档（RayvLLMKubeRa