logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

GPU 显存优化:DeepSeek 提供模型并行与张量优化建议

公式上,假设输入张量为 $X$,权重矩阵为 $W$,分割后计算: $$ Y = f(W_1 \cdot X) \quad \text{在 GPU1 上} \ Z = g(W_2 \cdot Y) \quad \text{在 GPU2 上} $$ 其中 $f$ 和 $g$ 是激活函数,这避免了整个模型驻留在单一GPU显存中。公式优化: $$ C = A \times B \quad \text{其中

#web3.py#pip
到底了