GAN，WGAN

GAN

improved trainign of wassertein gans_ nips 2017

---

生成对抗网络 GAN

两个网络（生成器、判别器）做游戏，
判别器D判断区别 图片是生成的图片 还是真实图片，
生成器G由噪声生成图片，试图生成的跟真的图片一样而让判别器区分不出来。

真实数据分布$P_r$, 生成器生成分布$P_g$,
判别器D希望真实数据的目标值大$\log D(x)$, 希望生成器生成的目标值小（批评家）即希望$\log(1-D(\tilde{x}))$大。
生成器G希望判别器的目标值小。---实践中容易梯度消失

$$\min_G \max_D E_{x \sim Pr}[\log D(x)] +E_{{\tilde x} \sim P_g}[\log (1-D(\tilde x))]$$
生成器G希望 生成的数据 在判断器上的目标值大。--实践中misbehave
$$\max_G E_{{\tilde x} \sim P_g}[\log D(\tilde x)]$$

生成器部分 最小化 判别器的目标值，相当于 最小化 真实数据分布$Pr$和生成数据分布$Pg$的Jensen-Shannon散度。Jensen-Shannon散度不连续难训练。

Wasserstein GAN

限制判别器为1-Lipschitz函数${\mathcal D}$，

$$\min_G \max_{D\in {\mathcal D}}E_{x \sim Pr}[\log D(x)] -E_{{\tilde x} \sim P_g}[\log D(\tilde x)]$$ 相当于 最小化 真实数据分布$Pr$和生成数据分布$Pg$的Earth-Mover距离（Wasserstein-1）。Earth-Mover距离连续，几乎处处可微。

clip权重大小

将weights 限制在$[-c,c]$范围，保证满足是k-Lipschitz函数。

$$w\in [-c,c]$$

惩罚权重梯度norm

满足1-Lipschtiz限制的函数的梯度的norm几乎没点都为1。 故 加梯度惩罚项。实践中，对真实数据分布$Pr$和生成器分布$Pg$的连线$P{\hat x}$ 分布采样，保证单位梯度norm。

$$\min_{D}-E_{x \sim Pr}[D(x)] +E_{{\tilde x} \sim P_g}[ D(\tilde x)] +\lambda E_{\hat{x} \sim P{\hat x}}[(\|\nabla_{\hat x} D({\hat x})\|_2-1)^2] \\ \min_{G} -E_{\tilde x \sim Pg}[D(\tilde x)]$$

将梯度加入目标函数，相当于需要对梯度求梯度，Hessan呢