
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
GPU 显存优化:DeepSeek 提供模型并行与张量优化建议
公式上,假设输入张量为 $X$,权重矩阵为 $W$,分割后计算: $$ Y = f(W_1 \cdot X) \quad \text{在 GPU1 上} \ Z = g(W_2 \cdot Y) \quad \text{在 GPU2 上} $$ 其中 $f$ 和 $g$ 是激活函数,这避免了整个模型驻留在单一GPU显存中。公式优化: $$ C = A \times B \quad \text{其中
到底了







