向量函数的微分 - 小时百科

向量函数是什么？

给定一个函数$\boldsymbol f(\boldsymbol x) = \boldsymbol W \boldsymbol x$ 其中输入 $\boldsymbol x\in\mathbb R^n$、输出 $\boldsymbol f(\boldsymbol x)\in\mathbb R^m$、权重矩阵 $\boldsymbol w\in\mathbb R^{m\times n}$。 这个向量函数能将n维的输入向量映射到m维输出向量。

微分代表着什么？

与一维微分函数$dy=y'dx$一样，代表着x的微小变化会怎么影响到y。 而多维微分函数$dz = \frac{\partial z}{\partial x}\ dx + \frac{\partial z}{\partial y}\ dy$就代表着每个变量x,y的微小变化会怎么影响到z。 与向量函数结合，就是每一个变量$x_i,y_i$的微笑变化会怎么影响到$z_i$，每一行都是$dz = \frac{\partial z}{\partial x}\ dx + \frac{\partial z}{\partial y}\ dy$这样的数，共有m行

向量函数的全微分用矩阵表示

给定一个向量函数$f(q)=(w_{11}q_{11}+w_{12}q_2+...w_{1n}q_n,w_{21}q_1+w_{22}q_2+...w_{2n}q_n,...+w_{mn}q_n)^T$ 我们要求f对q的全微分函数，$\frac{\partial f}{\partial q} = J(q)$ ($J(q)$就是雅可比矩阵),并且写成矩阵的形式：

$\boldsymbol J(\boldsymbol q) =\frac{\partial \boldsymbol f}{\partial \boldsymbol q} = \begin{bmatrix} \dfrac{\partial f_1}{\partial q_1} & \dfrac{\partial f_1}{\partial q_2} & \dots & \dfrac{\partial f_1}{\partial q_n}\\[6pt] \dfrac{\partial f_2}{\partial q_1} & \dfrac{\partial f_2}{\partial q_2} & \dots & \dfrac{\partial f_2}{\partial q_n}\\[6pt] \vdots & \vdots & \ddots & \vdots\\[6pt] \dfrac{\partial f_m}{\partial q_1} & \dfrac{\partial f_m}{\partial q_2} & \dots & \dfrac{\partial f_m}{\partial q_n} \end{bmatrix}$

核心意义：输出微小变化 = 雅可比矩阵 × 输入微小变化；知道输出要变多少，就能反向推输入该变多少。 而这个思想在工程上被广泛的应用，这里举两个应用： [[雅可比矩阵在机器人学中的应用]]，给定若干变量，要求机器人末端达到多少的速度，则每个变量的具体速度就能通过雅可比矩阵计算出来！ [[雅可比矩阵在神经网络中的应用]]，当神经网络要进行反向传播更新权重的时候，就需要根据雅可比矩阵计算通过链式法则计算误差和权重的梯度，进而通过梯度下降法更新权重。$\frac{\partial L}{\partial W} = \frac{\partial L}{\partial y} \frac{\partial y}{\partial W}$