机器学习数学通关指南——拉格朗日乘子法

前言

本文隶属于专栏《机器学习数学通关指南》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见《机器学习数学通关指南》

拉格朗日乘子法（拉格朗日乘数法）是处理带约束优化问题的工具，它通过引入乘子λ将约束条件和目标函数结合，找到两者“妥协”下的极值点，核心思想是：极值点处目标函数的梯度与约束条件的梯度方向平行。

满营山上的最低点
- 想象你是一位登山者，目标是爬到山峰最低处（目标函数的最小值），同时必须沿着一条特定路径行走（约束条件）。
- 拉格朗日乘子λ的作用：类似“路径罚分系数”，平衡你违反路径约束的代价与寻找极值的收益。
- 关键发现：当你站在路径上的最低点时，山体下降方向（目标函数梯度）与路径延伸方向（约束函数梯度）必然重合（否则你可以沿着路径继续下坡）。
例子解析
- 文档应用题：求体积最大的长方体，但必须满足表面积固定（约束条件 2xy + 2yz + 2xz = a²）。
  - 目标函数：V = xyz
  - 构造拉格朗日函数：L(x, y, z, λ) = xyz + λ(2xy + 2yz + 2xz - a²)
  - 导数条件：
```
∂L/∂x = yz + λ(2y + 2z) = 0  
∂L/∂y = xz + λ(2x + 2z) = 0  
∂L/∂z = xy + λ(2x + 2y) = 0  
```
  - 联立约束求解：最终得 x = y = z = a/√6（立方体体积最大）。

构造函数：整合目标函数和约束
$L(\mathbf{x}, \lambda) = f(\mathbf{x}) + \lambda \cdot g(\mathbf{x})$
- f(x)：原始目标（如体积、利润）
- g(x)=0：约束（如资源限制、物理条件）
求偏导归零：对变量和乘子分别求导
- 变量偏导：∇ₓL = ∇f + λ∇g = 0（梯度共线）
- 约束方程：g(x) = 0（必须满足原条件）
解联立方程：解出候选极值点及λ值。

核心本质：通过乘子λ量化约束的“严格性”：

总结：拉格朗日乘子法是**“带着镣铐找最优”的数学工具**：通过构造拉格朗日函数将约束融入目标，利用导数条件找到梯度共线的平衡点。操作分三步走（构造、求导、联立），应用覆盖工程、经济、AI等多个领域。