Logo

梯度的应用

等值线与等值面的法向量

定理1
  1. 二元函数 z=f(x,y)z = f(x,y) 的等值线 f(x,y)=cf(x,y) = c 在点 (x0,y0)(x_0,y_0) 处的法向量为 ∇f(x0,y0)\nabla f(x_0,y_0)。
  2. 三元函数 u=f(x,y,z)u = f(x,y,z) 的等值面 f(x,y,z)=cf(x,y,z) = c 在点 (x0,y0,z0)(x_0,y_0,z_0) 处的法向量为 ∇f(x0,y0,z0)\nabla f(x_0,y_0,z_0)。
  3. 曲面 F(x,y,z)=0F(x,y,z) = 0 在点 M0M_0 处的切平面法向量为 ∇F(M0)\nabla F(M_0)。
几何解释
推论
证明
符号说明

最速下降法（梯度下降法）

梯度下降法基本迭代

目标：求函数 f(x⃗)f(\vec{x}) 的最小值。

迭代公式： x⃗k+1=x⃗k−αk∇f(x⃗k)\vec{x}_{k+1} = \vec{x}_k - \alpha_k \nabla f(\vec{x}_k)

其中：

  • x⃗k\vec{x}_k 是第 kk 步的迭代点
  • αk>0\alpha_k > 0 是学习率（步长）
  • ∇f(x⃗k)\nabla f(\vec{x}_k) 是梯度，负号表示沿梯度反方向（最速下降方向）更新

收敛条件：∣∇f(x⃗k)∣<ε|\nabla f(\vec{x}_k)| < \varepsilon 或 ∣f(x⃗k+1)−f(x⃗k)∣<ε|f(\vec{x}_{k+1}) - f(\vec{x}_k)| < \varepsilon。

梯度下降法的变体

方法迭代公式特点
最速下降法x⃗k+1=x⃗k−α∇f(x⃗k)\vec{x}_{k+1} = \vec{x}_k - \alpha \nabla f(\vec{x}_k)固定学习率，简单但可能震荡
精确线搜索沿负梯度方向求最优步长每步最优，但计算量大
动量法vk+1=βvk−α∇fv_{k+1} = \beta v_k - \alpha \nabla f，x⃗k+1=x⃗k+vk+1\vec{x}_{k+1} = \vec{x}_k + v_{k+1}加速收敛，减少震荡
Adam自适应学习率机器学习中最常用

梯度在物理场中的应用

物理中的梯度
  1. 温度场：T(x,y,z)T(x,y,z) 表示温度分布，∇T\nabla T 指向温度升高最快的方向，热流密度 q⃗=−k∇T\vec{q} = -k\nabla T（傅里叶定律），负号表示热量从高温流向低温。
  2. 电势场：φ(x,y,z)\varphi(x,y,z) 表示电势，电场强度 E⃗=−∇φ\vec{E} = -\nabla \varphi，电场指向电势降低最快的方向。
  3. 引力场：引力势 VV，引力场 g⃗=−∇V\vec{g} = -\nabla V。
  4. 浓度场：浓度 c(x,y,z)c(x,y,z)，扩散通量 J⃗=−D∇c\vec{J} = -D\nabla c（菲克定律）。

典型例题

例题1：等值线的切线与法线

求等值线 x2+2y2=3x^2 + 2y^2 = 3 在点 (1,1)(1, 1) 处的切线方程和法线方程。

参考答案(4 个标签)
等值线梯度切线法线
  1. 令 f(x,y)=x2+2y2f(x,y) = x^2 + 2y^2，则 ∇f=(2x,4y)\nabla f = (2x, 4y)
  2. 在 (1,1)(1,1) 处：∇f=(2,4)\nabla f = (2, 4)，这是法向量
  3. 切线方程：2(x−1)+4(y−1)=02(x-1) + 4(y-1) = 0，即 x+2y−3=0x + 2y - 3 = 0
  4. 法线方程：x−12=y−14\frac{x-1}{2} = \frac{y-1}{4}，即 2x−y−1=02x - y - 1 = 0

答案：切线 x+2y−3=0x+2y-3=0，法线 2x−y−1=02x-y-1=0

例题2：梯度下降法求最小值

用梯度下降法求 f(x,y)=x2+2y2f(x,y) = x^2 + 2y^2 的最小值，初始点 (1,1)(1,1)，学习率 α=0.1\alpha = 0.1，写出前两步迭代。

参考答案(3 个标签)
梯度下降最优化迭代
  1. ∇f=(2x,4y)\nabla f = (2x, 4y)
  2. 初始点 x⃗0=(1,1)\vec{x}_0 = (1,1)，∇f(x⃗0)=(2,4)\nabla f(\vec{x}_0) = (2,4)，f(x⃗0)=3f(\vec{x}_0) = 3
  3. 第一步：x⃗1=(1,1)−0.1(2,4)=(0.8,0.6)\vec{x}_1 = (1,1) - 0.1(2,4) = (0.8, 0.6)，f(x⃗1)=0.64+0.72=1.36f(\vec{x}_1) = 0.64 + 0.72 = 1.36
  4. 第二步：∇f(x⃗1)=(1.6,2.4)\nabla f(\vec{x}_1) = (1.6, 2.4)，x⃗2=(0.8,0.6)−0.1(1.6,2.4)=(0.64,0.36)\vec{x}_2 = (0.8,0.6) - 0.1(1.6,2.4) = (0.64, 0.36)，f(x⃗2)=0.4096+0.2592=0.6688f(\vec{x}_2) = 0.4096 + 0.2592 = 0.6688
  5. 函数值持续下降，逐步逼近最小值点 (0,0)(0,0)，最小值为 00。

答案：x⃗1=(0.8,0.6)\vec{x}_1=(0.8,0.6)，x⃗2=(0.64,0.36)\vec{x}_2=(0.64,0.36)，函数值从3降至0.6688。

例题3：电场强度

已知电势 φ(x,y,z)=1x2+y2+z2\varphi(x,y,z) = \frac{1}{\sqrt{x^2+y^2+z^2}}，求电场强度 E⃗=−∇φ\vec{E} = -\nabla \varphi。

参考答案(4 个标签)
梯度电势电场强度物理应用
  1. 令 r=x2+y2+z2r = \sqrt{x^2+y^2+z^2}，则 φ=1r\varphi = \frac{1}{r}
  2. ∂φ∂x=−1r2⋅xr=−xr3\frac{\partial \varphi}{\partial x} = -\frac{1}{r^2} \cdot \frac{x}{r} = -\frac{x}{r^3}
  3. 同理 ∂φ∂y=−yr3\frac{\partial \varphi}{\partial y} = -\frac{y}{r^3}，∂φ∂z=−zr3\frac{\partial \varphi}{\partial z} = -\frac{z}{r^3}
  4. ∇φ=−1r3(x,y,z)=−r⃗r3\nabla \varphi = -\frac{1}{r^3}(x, y, z) = -\frac{\vec{r}}{r^3}
  5. E⃗=−∇φ=r⃗r3=(x,y,z)(x2+y2+z2)3/2\vec{E} = -\nabla \varphi = \frac{\vec{r}}{r^3} = \frac{(x,y,z)}{(x^2+y^2+z^2)^{3/2}}

答案：E⃗=(x,y,z)(x2+y2+z2)3/2\vec{E} = \frac{(x,y,z)}{(x^2+y^2+z^2)^{3/2}}，这是位于原点的单位正电荷产生的电场（库仑定律）。

练习题

练习1

求等值面 x2+y2+z2=9x^2 + y^2 + z^2 = 9 在点 (2,2,1)(2, 2, 1) 处的切平面方程。

参考答案(3 个标签)
等值面梯度切平面
  1. 令 F=x2+y2+z2F = x^2+y^2+z^2，∇F=(2x,2y,2z)\nabla F = (2x,2y,2z)
  2. 在 (2,2,1)(2,2,1) 处：∇F=(4,4,2)\nabla F = (4,4,2)
  3. 切平面：4(x−2)+4(y−2)+2(z−1)=04(x-2)+4(y-2)+2(z-1)=0，即 2x+2y+z−9=02x+2y+z-9=0

答案：切平面方程为 2x+2y+z−9=02x+2y+z-9=0

练习2

设某山的高度函数为 h(x,y)=10−x2−2y2h(x,y) = 10 - x^2 - 2y^2（单位：百米），在点 (1,1)(1,1) 处，登山者应沿什么方向攀登最省力（高度上升最快）？该方向的坡度是多少？

参考答案(4 个标签)
梯度最速上升坡度应用
  1. ∇h=(−2x,−4y)\nabla h = (-2x, -4y)，在 (1,1)(1,1) 处 ∇h=(−2,−4)\nabla h = (-2, -4)
  2. 梯度方向 (−2,−4)(-2,-4) 是高度上升最快的方向，即最省力的攀登方向
  3. 坡度 = ∣∇h∣=4+16=25≈4.47|\nabla h| = \sqrt{4+16} = 2\sqrt{5} \approx 4.47（每水平前进1单位，高度上升约4.47百米）

答案：沿方向 (−2,−4)(-2,-4)（即 (−1,−2)(-1,-2) 方向）攀登最省力，坡度约为 252\sqrt{5}。

总结

本文出现的符号

符号类型读音/说明在本文中的含义
x⃗k\vec{x}_k迭代点x sub k梯度下降第k步的迭代点
α\alpha学习率alpha / learning rate梯度下降的步长
E⃗\vec{E}电场强度electric field电场强度向量
φ\varphi电势potential电势函数
q⃗\vec{q}热流密度heat flux热流密度向量
kk热导率thermal conductivity傅里叶定律中的系数

中英对照

中文术语英文术语音标
梯度下降法gradient descent/ˈɡreɪdiənt dɪˈsɛnt/
学习率learning rate/ˈlɜːrnɪŋ reɪt/
最速下降法steepest descent/ˈstiːpɪst dɪˈsɛnt/
迭代iteration/ˌɪtəˈreɪʃən/
收敛convergence/kənˈvɜːrdʒəns/
动量法momentum/moʊˈmɛntəm/
电势electric potential/ɪˈlɛktrɪk pəˈtɛnʃəl/
电场强度electric field intensity/ɪˈlɛktrɪk fiːld ɪnˈtɛnsəti/
热流密度heat flux/hiːt flʌks/
傅里叶定律Fourier’s law/ˈfʊrieɪz lɔː/
菲克定律Fick’s law/fɪks lɔː/
库仑定律Coulomb’s law/ˈkuːlɒmz lɔː/
上一章节梯度学习梯度的定义、性质、几何意义，以及梯度与方向导数的关系。
下一章节多元函数的极值学习多元函数极值的定义、必要条件、二阶导数判别法，以及极值的计算与应用。
多元函数微分学