Day4-1

作业

---

题目一：

a . 请描述链式求导法则

如果函数 $u=\phi(x)$ 和函数 $v=\varphi(x)$ 在点x处可导，复合函数$z = f(u, v)$ 在点 $(u,v)$ 处具有连续偏导数，则复合函数$f$在点$x$处可导，导数计算公式为：

$$\frac {dz}{dx} = \frac{\partial{z}}{\partial{u}}\frac{du}{dx} + \frac{\partial{z}}{\partial{v}}\frac{dv}{dx}$$

b. 求以下函数的导数

$y = \ln{x}$ -------- $y'= 1/x$
$y = e^x$ -------- $y'=e^x$
$y = uv$ -------- $y'= u'v + uv'$
$y = u/v$ -------- $y'=\frac{u'v-uv'}{v^2}$ --- $(v!=0)$

题目二

此图为随着训练次数的增加，loss的变化。
四条不同颜色分别代表使用不同的学习率。
请思考哪条颜色对应的学习率较好？
以及解释各种颜色代表的学习率都是什么情况，言之有理即可！

解答：
红色比较好，因为收敛较快，而且收敛在比较理想的损失函数值范围内。
黄色是设置了不合适的学习率，比如过大，错过了局部最小值而导致损失函数值越来越大。
绿色可能是训练收敛在了局部最小值。
蓝色是相对合适的学习率，但相比红色，可能因为学习率过小，导致收敛速度慢。