可微分计算（Differentiable Computing）或可微分编程（Differentiable Programming）是近年来计算机科学和科学计算领域最重要的范式转变之一。它的核心思想是：将计算机程序变成可微分的，从而可以通过梯度下降等优化方法，从输出结果反推并优化输入参数或程序内部的逻辑。

不用想就知道，这种观念的直接来源是深度学习，但其应用领域却足以泛化到整个科学计算和工程领域。

一元标量函数

PyTorch支持可微分计算，只需在创建张量时，开启【requires_grad】，即可自动计算梯度。例如，对于$y=x^2$而言，$\frac{\mathbf{d}y}{\mathbf{d}x}=2x$。现令$x=3$，则其PyTorch可以依次计算出

import torch

x = torch.tensor(3.0, requires_grad=True)
y = x ** 2
print(f"y 的值: {y.item()}")    # y 的值: 9.0

y.backward()
print(f"x 的梯度 (dy/dx): {x.grad.item()}")    # x 的梯度 (dy/dx): 6.0

多元函数

下面考虑多元函数$f(x,y)=x^2\sin y+e^{xy}$，其偏导数为

$$\begin{array}{rl}\frac{\partial f}{\partial x}& =2x\sin y+y{e}^{xy}\\ \frac{\partial f}{\partial y}& =x^2\cos y+x{e}^{xy}\end{array}$$

当$x=1,y=\frac{\pi }{2}$时，

$$\begin{array}{rl}f& =1+e^{\frac{\pi }{2}}\approx 5.81\\ f_x& =2+\frac{\pi }{2}{e}^{\frac{\pi }{2}}\approx 9.56\\ f_y& =e^{\frac{\pi }{2}}\approx 4.81\end{array}$$

PyTorch的自动微分仍旧可以完美运行

x = torch.tensor(1.0, requires_grad=True)
y = torch.tensor(torch.pi / 2, requires_grad=True)

f = (x**2) * torch.sin(y) + torch.exp(x * y)
f.backward()

print(f"df/dx: {x.grad.item():.4f}")    # df/dx: 9.5563
print(f"df/dy: {y.grad.item():.4f}")    # df/dy: 4.8105

一元数组函数

回到$y=x^2$，如果$x$是个数组，那么在Python的计算规则中，$y$也是同样维度的数组。此时把求导操作视作$\frac{\partial y}{\partial x}$，那么形式上的展开差不多是$\frac{\partial (y_1,y_2,\cdots )}{\partial (x_1,x_2,\cdots )}$，有些意义不明，感觉最后求出来的是个矩阵。

但是，如果$y_i$求和，那么就会得到$s={\sum }_i{y}_i(x_i)$，此时$\frac{\partial s}{\partial (x_1,x_2,\cdots )}$的意义却相对明确，即$s_{x_i}=\frac{\partial s}{\partial x_i}=\frac{\partial y_i}{\partial x_i}$。按照这个逻辑，可以用PyTorch继续做反向传播，示例如下

x = torch.tensor([1.0, 2.0, 3.0], requires_grad=True)
y = x ** 2  # y 是一个向量 [1, 4, 9]

# 注意：直接 y.backward() 会报错！

loss = y.sum() 
loss.backward()

print(f"x 的梯度: {x.grad}")    # x 的梯度: tensor([2., 4., 6.])