条件极值与拉格朗日乘子法

正文用到本节的地方：§4.6（最大熵原理导出正则分布）、§5.2（最概然分布导出玻尔兹曼分布）、§28.5（玻色在总能量的约束下、爱因斯坦再加上粒子数的约束使熵极大，推出量子分布；粒子数约束的乘子就是化学势）。拉格朗日乘子在这些推导中都有明确的物理意义：$\beta = 1/(k_{\mathrm B}T)$ 与 $-\beta\mu$（或 $\alpha$）。

§A8.1问题与几何图像

求 $f(x,y)$ 在约束 $g(x,y) = c$ 下的极值。约束把可选的点限制在一条曲线上。若在曲线上的某点 $P$ 处 $f$ 取极值，那么沿曲线移动一小步 $d\mathbf r$（沿切线方向 $\mathbf t$），$f$ 的一阶变化 $df = \nabla f\cdot d\mathbf r$ 必须为零，即 $\nabla f\perp\mathbf t$。另一方面，沿约束曲线 $g$ 不变，所以 $\nabla g\perp\mathbf t$ 也成立。平面上与 $\mathbf t$ 垂直的方向只有一个，所以 $\nabla f$ 与 $\nabla g$ 平行：

常数 $\lambda$ 称为拉格朗日乘子。图像：画出 $f$ 的等值线族；沿约束曲线走，穿过一条条等值线，$f$ 时增时减；在极值点处约束曲线恰好与某条等值线相切。

另一种推导（消元法）。从 $g(x,y) = c$ 解出 $y = y(x)$，问题变成无约束的一元极值：$\frac{d}{dx}f(x,y(x)) = f_x + f_y\,y'(x) = 0$。又由 $g(x,y(x)) = c$ 对 $x$ 求导，$g_x + g_y\,y' = 0$，$y' = -g_x/g_y$。代入得 $f_x/g_x = f_y/g_y$；记这个公共比值为 $\lambda$，就是 (A8.1)。拉格朗日方法的好处是不需要真的解出约束，而且对所有变量是对称的。

§A8.2一般形式

求 $f(x_1,\dots,x_n)$ 在 $m$ 个约束 $g_k(\mathbf x) = c_k$（$k = 1,\dots,m$，$m<n$）下的极值。构造拉格朗日函数

令 $\partial\mathcal L/\partial x_i = 0$（$n$ 个方程），连同 $m$ 个约束，共 $n+m$ 个方程，解出 $n$ 个 $x_i$ 与 $m$ 个 $\lambda_k$。

为什么。约束曲面上允许的位移 $\mathbf d$ 满足 $\nabla g_k\cdot\mathbf d = 0$（对一切 $k$）。在极值点，对所有这样的 $\mathbf d$ 都要有 $\nabla f\cdot\mathbf d = 0$。由线性代数，与"所有 $\nabla g_k$ 都垂直的向量"都垂直的向量，一定是诸 $\nabla g_k$ 的线性组合（附录 B1 的正交补）。所以 $\nabla f = \sum_k\lambda_k\nabla g_k$，这就是 $\partial\mathcal L/\partial x_i = 0$。（要求诸 $\nabla g_k$ 线性无关，物理问题中总是满足。）

§A8.3例题

例 1：在 $x + y = 2$ 上求 $xy$ 的极大。$\mathcal L = xy - \lambda(x + y - 2)$，$\partial_x\mathcal L = y - \lambda = 0$，$\partial_y\mathcal L = x - \lambda = 0$，所以 $x = y = 1$，极大值 $1$。

例 2：等概率。在 $\sum_{i=1}^nP_i = 1$ 下求 $H = -\sum_iP_i\ln P_i$ 的极大。$\partial\mathcal L/\partial P_i = -\ln P_i - 1 - \alpha = 0$，所以所有 $P_i$ 相等，$P_i = 1/n$，$H_{\max} = \ln n$。这就是"没有任何其他信息时，各种可能性等概率"（微正则系综，第3章）。

例 3：玻尔兹曼分布。再加一个约束 $\sum_iP_iE_i = U$：$-\ln P_i - 1 - \alpha - \beta E_i = 0$，所以 $P_i = e^{-\beta E_i}/Z$，$Z = \sum_ie^{-\beta E_i}$（这是 §4.6 的 (4.21)）。乘子 $\beta$ 由约束 $\sum_iP_iE_i = U$ 确定；下面 §A8.4 说明它为什么就是 $1/(k_{\mathrm B}T)$。

例 4：几何分布。变量 $n$ 取 $0,1,2,\dots$，在给定平均值 $\langle n\rangle = \bar n$ 下求熵最大的分布。同例 3，$P_n\propto e^{-\beta' n}$；记 $x = e^{-\beta'}$，归一化给出 $P_n = (1-x)x^n$，而 $\bar n = x/(1-x)$（由 (A7.9)）。于是

这正是一个玻色子模式中占据数的分布与熵（第12章）。

例 5：最概然分布（§5.2）。$N$ 个粒子分布在各能级上，占据数 $\lbrace N_l\rbrace$ 满足 $\sum_lN_l = N$、$\sum_lN_l\varepsilon_l = E$，求 $\ln W$ 的极大。数学结构与例 3 完全相同，只是变量从概率换成了占据数。

§A8.4乘子的意义：极值对约束值的变化率

设 $f^\ast(c)$ 是约束 $g = c$ 下 $f$ 的极值，$\mathbf x^\ast(c)$ 是极值点。则

证明：由链式法则与 (A8.1)，

（最后一步：极值点始终在约束面上，$g(\mathbf x^\ast(c)) = c$。）多个约束时 $\partial f^\ast/\partial c_k = \lambda_k$。

应用：为什么 $\beta = 1/(k_{\mathrm B}T)$。在例 3 中，$f = H = S/k_{\mathrm B}$，能量约束的值 $c = U$，乘子是 $\beta$。由 (A8.4)，

而热力学 (1.8) 说 $dS/dU = 1/T$，所以 $\beta = 1/(k_{\mathrm B}T)$。同理，巨正则系综中对粒子数约束的乘子给出 $-\mu/(k_{\mathrm B}T)$（由 $\partial S/\partial N = -\mu/T$）。§5.2 中由 $d\ln W_{\max}$ 确定 $\beta$ 的论证，正是 (A8.4) 的一个具体实例。

其他学科中的同一事实：力学中，乘子是约束力（例如保持粒子在曲面上所需的法向力）；经济学中，乘子是资源的"影子价格"——多一单位资源，最优收益增加多少。

§A8.5极大还是极小

(A8.1) 只是一阶条件，驻点也可能是极小或鞍点。统计力学中有一个省事的事实：若 $f$ 是严格凹函数而约束都是线性的，则驻点就是唯一的全局极大。 理由：约束面（一个平面或其一部分）是凸集，凹函数限制在凸集上仍是凹的，而凹函数的驻点必是全局极大，严格凹则唯一。熵 $H = -\sum P_i\ln P_i$ 是严格凹的（它的黑塞矩阵是对角的，对角元 $-1/P_i<0$），而归一化、平均能量等约束对 $P_i$ 都是线性的，所以最大熵分布存在且唯一。

不等式约束 $P_i\ge0$ 不必另行处理：解 $P_i\propto e^{-\beta E_i}$ 自动为正。（$-P\ln P$ 在 $P\to0$ 时的斜率趋于 $+\infty$，熵的极大永远不会落在边界 $P_i = 0$ 上。）

连续变量：若待求的是一个函数（例如速度分布 $f(\mathbf v)$），约束是积分形式（$\int f = 1$、$\int\frac12mv^2f = U/N$），则把求和换成积分、偏导数换成泛函导数（附录 A12），做法完全相同，得到麦克斯韦分布。

自测题

1. 求 $x + 2y$ 在圆 $x^2 + y^2 = 5$ 上的极大值与极小值。［答：$\nabla f = \lambda\nabla g$ 给出 $y = 2x$，极大 $5$（在 $(1,2)$），极小 $-5$（在 $(-1,-2)$）。］
2. 一枚骰子的平均点数已知为 4.5。按最大熵原理，$P_k\propto e^{-\beta k}$。$\beta$ 的符号是什么？为什么？［答：$\beta<0$：平均值大于均匀分布的 3.5，需要让大点数更可能。］
3. 对例 1 改为约束 $x + y = c$，验证 (A8.4)：$f^\ast(c) = c^2/4$，$df^\ast/dc = c/2$，而 $\lambda = x^\ast = c/2$。
4. 验证 (A8.3)：由 $P_n = (1-x)x^n$ 直接计算 $H = -\sum P_n\ln P_n$。［提示：$\ln P_n = \ln(1-x) + n\ln x$，取平均。］
5. 长方体箱子的表面积固定为 $A$，求体积最大时的形状。［答：$\mathcal L = xyz - \lambda(2xy + 2yz + 2zx - A)$；由对称的三个方程得 $x = y = z$，正方体。］