
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本文围绕 PyTorch 2.9 中 torch.compile 的一个典型工程坑展开:为什么离线 benchmark 看起来不错,线上首个请求却更慢,batch size 一变 p99 还会抖。我基于 RTX 3090 做了 4 组最小实验,分别验证固定 shape 的冷启动成本、shape 变化触发的重编译、dynamic=True 对可变 batch 的缓解效果,以及 regional co
`torch.compile` 并不是"开了就快"。本文在 RTX 3090 + PyTorch 2.9.1 + bf16 条件下,用一个 6 层手写 Transformer 做了 12 组对照实验:batch=1/seq=128 下 compile 提速 2.87x,但 batch=16/seq=128 下反而慢 9%。同时给出冷启动 2.5-7 秒、dynamic=False 时每个新 sha
这篇文章围绕最近走红的 `auto-deep-researcher-24x7`,结合 clone、技术报告、架构文档、Issues 和本地 40 个单测结果,拆解它为什么不是“自动科研黑箱”,而是一套面向深度学习实验循环的工具箱:核心价值在 zero-cost monitoring、恒定记忆、最小工具集和本机控远端 GPU 的 SSH backend,适合谁、不适合谁也因此更清楚。
本文围绕当日热门 GitHub 项目 `modded-nanogpt` 展开,不复述它在 8xH100 上“90 秒训练 124M” 的成绩,而是直接把 current master 搬到本地 RTX 3090 上做最小复现实验。通过源码定位、内核导入和 warmup 诊断,我确认阻塞并不先来自显存,而是 `triton_kernels.py` 里写死的 `sm90` fused CE 内核,以及
如果一款视觉模型只是想做“图片到 HTML”,它最自然的产品描述通常会围绕三个词展开:截图、还原、生成。但的官方文档不是这么写的。docs.z.ai在模型 overview 里把它定义为输入不只是图片,还包括;目标不只是代码生成,还包括;它被直接定位为能和这类 agent 工作流配合的模型。这三个信号叠在一起,说明它想切入的不是“前端美工辅助”这么窄的场景,而是更宽的视觉参与式编程和 agent
这篇文章聚焦 Qwen3.6-27B 与 Qwen3.6-35B-A3B 的落地顺序,不再只比参数量,而是结合官方模型卡、Hub metadata 与 config.json,对比权重体积、分片数、长上下文、工具调用命令和 MoE 复杂度。结论很直接:第一次自托管 coding agent,先试 27B 更稳;35B-A3B 更适合明确要研究 sparse MoE 的第二阶段。
本文用 80 行 PyTorch 把 DeepSeek V2/V3 的 MLA 从论文推到能跑,然后在 RTX 3090 上量化了三件事:cache 体积(比同规模 MHA 小 56.9x,3090 实测一致)、朴素实现的 decode 开销(16k 上下文 MLA 反而比 MHA 慢约 4x)、absorption 和 decoupled RoPE 在数学上的等价与冲突关系(两行 einsum
这篇文章围绕热门项目 vLLM-Omni 的第一条可用上手路径展开,不再复述 README,而是用官方安装文档、CLI 源码、支持模型列表、community recipe 讨论和两轮本地实验,拆清它为什么不该被理解成“给 vllm 加一个多模态插件”。我分别测试了 `vllm==0.19.0` 与 `vllm==0.20.0` 两条安装路线,验证旧命令会先卡在 `libcudart.so.12`
这篇文章聚焦 Qwen3.6-27B 与 Qwen3.6-35B-A3B 的落地顺序,不再只比参数量,而是结合官方模型卡、Hub metadata 与 config.json,对比权重体积、分片数、长上下文、工具调用命令和 MoE 复杂度。结论很直接:第一次自托管 coding agent,先试 27B 更稳;35B-A3B 更适合明确要研究 sparse MoE 的第二阶段。
这篇文章围绕最近活跃的训练跟踪项目 SwanLab 做了一次工程化首验收:我没有先看 dashboard,而是先测试 source install、offline 日志路径、resume 本地语义和 `swanlab watch` 入口。实测发现 current main 分支会先踩 `nanoid` 缺依赖、`logdir=` 参数未生效,以及 `watch` 命令源码未完整实现这 3 个坑;同







