对固定形式函数求导

数学

---

原问题：现有变量$\rho_1,\rho_2,\cdots,\rho_D$，缩放表示成概率

$$\widetilde{\rho_j} = \frac{\rho_j}{\sum_{i=1}^D\rho_i}$$

引入新变量

$$\theta_j = \sum_{k=1}^j\widetilde{\rho_k}$$

其（表示熵？）为：

$$H_R = -\sum_{j=1}^D(\theta_j-\theta_{j-1})\log(\theta_j-\theta_{j-1})$$

现在目的是求偏导$\frac{\partial H_R}{\partial\theta_j}$

首先每一个$\theta_j$可以看成是一个函数，但跟泛函不同的地方在于这个函数的形式是固定的，而泛函是不固定的，$\theta$的变化完全依赖于$\widetilde{\rho}$，因而$\theta_j$变化$\theta_{j-1}$也在变化，而求偏导需要保证其他变量固定

设$E_j = (\theta_j-\theta_{j-1})\log(\theta_j-\theta_{j-1})$，其变化可以写成

$$\begin{align*} \delta E_j &= \frac{\partial E_j}{\partial\theta_j}\delta \theta_j + \frac{\partial E_j}{\partial \theta_{j-1}}\delta \theta_{j-1} \\ & = \frac{\partial E_j}{\partial\theta_j}\delta \theta_j + \frac{\partial E_j}{\partial \theta_{j-1}}(\delta \theta_j - \delta\widetilde{\rho_j}) \\ & = \left( \frac{\partial E_j}{\partial \theta_j} + \frac{\partial E_j}{\partial \theta_{j-1}} \right)\delta \theta_j - \frac{\partial E_j}{\partial \theta_{j-1}} \delta \widetilde{\rho_j} \\ & = 0 + \left\{\log(\theta_j-\theta_{j-1})+1\right\}\delta \widetilde{\rho_j} \end{align*}$$

故，如果用传统方法直接对$\theta_j$求偏导实际上求的是$\widetilde{\rho_j}$的偏导

这个地方如果要求$\frac{\delta E_j}{\delta \theta_j}$，需要把等式右边的所有变分转换成$\delta \theta_j$，但这个地方怎么换？

如果这种方式考虑的话，可以求固定函数形式的偏导，只要等式右边能够凑成该函数形式即可