logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

PyTorch 2.9 里 torch.compile 为什么首个请求更慢?4 组 GPU 实验讲透冷启动、重编译与止损方案

本文围绕 PyTorch 2.9 中 torch.compile 的一个典型工程坑展开:为什么离线 benchmark 看起来不错,线上首个请求却更慢,batch size 一变 p99 还会抖。我基于 RTX 3090 做了 4 组最小实验,分别验证固定 shape 的冷启动成本、shape 变化触发的重编译、dynamic=True 对可变 batch 的缓解效果,以及 regional co

#pytorch#人工智能#python
`torch.compile` 不是“开了就快“:RTX 3090 上 12 组对照给出该开、该关、该换模式的边界

`torch.compile` 并不是"开了就快"。本文在 RTX 3090 + PyTorch 2.9.1 + bf16 条件下,用一个 6 层手写 Transformer 做了 12 组对照实验:batch=1/seq=128 下 compile 提速 2.87x,但 batch=16/seq=128 下反而慢 9%。同时给出冷启动 2.5-7 秒、dynamic=False 时每个新 sha

#深度学习
别把 `auto-deep-researcher-24x7` 当自动炼丹黑箱:我 clone 这周 GitHub 热门项目后,更看重的是 0 成本监控、恒定记忆和 SSH 远端执行

这篇文章围绕最近走红的 `auto-deep-researcher-24x7`,结合 clone、技术报告、架构文档、Issues 和本地 40 个单测结果,拆解它为什么不是“自动科研黑箱”,而是一套面向深度学习实验循环的工具箱:核心价值在 zero-cost monitoring、恒定记忆、最小工具集和本机控远端 GPU 的 SSH backend,适合谁、不适合谁也因此更清楚。

#github#ssh#运维 +1
GitHub 热门项目 `modded-nanogpt` 实测:把“90 秒训练 124M”搬到 RTX 3090 后,先炸的不是显存,而是 Hopper 专用内核

本文围绕当日热门 GitHub 项目 `modded-nanogpt` 展开,不复述它在 8xH100 上“90 秒训练 124M” 的成绩,而是直接把 current master 搬到本地 RTX 3090 上做最小复现实验。通过源码定位、内核导入和 warmup 诊断,我确认阻塞并不先来自显存,而是 `triton_kernels.py` 里写死的 `sm90` fused CE 内核,以及

#github
别只把 `GLM-5V-Turbo` 当成截图转代码:我读完论文、文档和 GUI Agent 示例后,更在意它把感知、规划、执行塞进了同一个模型

如果一款视觉模型只是想做“图片到 HTML”,它最自然的产品描述通常会围绕三个词展开:截图、还原、生成。但的官方文档不是这么写的。docs.z.ai在模型 overview 里把它定义为输入不只是图片,还包括;目标不只是代码生成,还包括;它被直接定位为能和这类 agent 工作流配合的模型。这三个信号叠在一起,说明它想切入的不是“前端美工辅助”这么窄的场景,而是更宽的视觉参与式编程和 agent

别被“3B 激活参数”骗了:Qwen3.6-27B 和 35B-A3B,先按部署路径选,再看 benchmark

这篇文章聚焦 Qwen3.6-27B 与 Qwen3.6-35B-A3B 的落地顺序,不再只比参数量,而是结合官方模型卡、Hub metadata 与 config.json,对比权重体积、分片数、长上下文、工具调用命令和 MoE 复杂度。结论很直接:第一次自托管 coding agent,先试 27B 更稳;35B-A3B 更适合明确要研究 sparse MoE 的第二阶段。

#数据结构
80 行 PyTorch 从零写 DeepSeek 的 MLA:量一遍 KV cache、踩一遍 absorption,你才会明白 vLLM 为什么要加专用内核

本文用 80 行 PyTorch 把 DeepSeek V2/V3 的 MLA 从论文推到能跑,然后在 RTX 3090 上量化了三件事:cache 体积(比同规模 MHA 小 56.9x,3090 实测一致)、朴素实现的 decode 开销(16k 上下文 MLA 反而比 MHA 慢约 4x)、absorption 和 decoupled RoPE 在数学上的等价与冲突关系(两行 einsum

#pytorch#人工智能#深度学习
别把 `vLLM-Omni` 当成给 `vllm` 加个多模态插件:我实测后,先卡住的是版本对齐、`--omni` 入口和硬件 recipe

这篇文章围绕热门项目 vLLM-Omni 的第一条可用上手路径展开,不再复述 README,而是用官方安装文档、CLI 源码、支持模型列表、community recipe 讨论和两轮本地实验,拆清它为什么不该被理解成“给 vllm 加一个多模态插件”。我分别测试了 `vllm==0.19.0` 与 `vllm==0.20.0` 两条安装路线,验证旧命令会先卡在 `libcudart.so.12`

别被“3B 激活参数”骗了:Qwen3.6-27B 和 35B-A3B,先按部署路径选,再看 benchmark

这篇文章聚焦 Qwen3.6-27B 与 Qwen3.6-35B-A3B 的落地顺序,不再只比参数量,而是结合官方模型卡、Hub metadata 与 config.json,对比权重体积、分片数、长上下文、工具调用命令和 MoE 复杂度。结论很直接:第一次自托管 coding agent,先试 27B 更稳;35B-A3B 更适合明确要研究 sparse MoE 的第二阶段。

#数据结构
别急着 clone 热门训练跟踪项目 SwanLab 的 main 分支:我实测后先卡住的不是可视化,而是 `nanoid`、`logdir` 和 `watch` 这 3 个入口

这篇文章围绕最近活跃的训练跟踪项目 SwanLab 做了一次工程化首验收:我没有先看 dashboard,而是先测试 source install、offline 日志路径、resume 本地语义和 `swanlab watch` 入口。实测发现 current main 分支会先踩 `nanoid` 缺依赖、`logdir=` 参数未生效,以及 `watch` 命令源码未完整实现这 3 个坑;同

    共 33 条
  • 1
  • 2
  • 3
  • 4
  • 请选择