题目：DeblurGAN

图像去模糊的通用模型

$$I_B=k(M)\ast I_S+N$$

• 含义：

  • $I_B$：模糊图像（Blurred Image）。
  • $I_S$：清晰的潜在图像（Latent Sharp Image）。
  • $k(M)$：模糊核（Blur Kernel），它依赖于运动场 $M$。
  • $\ast$：卷积运算符，表示模糊过程为卷积。
  • $N$：加性噪声（Additive Noise）。

• 解释：

  • 图像去模糊的基本模型是 模糊图像 = 清晰图像和运动模糊核的卷积 + 噪声。
  • 当 $k(M)$ 未知时，需要同时估计 $I_S$ 和 $k(M)$，这是 盲去模糊（blind deblurring） 问题。

GAN 目标函数

(a) 标准 GAN 目标函数

$$\underset{G}{\min }\underset{D}{\max }({\mathbb{E}}_{x\sim P_r}[\log D(x)]+{\mathbb{E}}_{\tilde{x}\sim P_g}[\log (1-D(\tilde{x}))])$$

• 符号说明：

  • $G$：生成器，接受随机噪声 $z$ 并生成假样本 $\tilde{x}=G(z)$。
  • $D$：判别器，判别样本是真实的 $x\sim P_r$ 还是生成的 $\tilde{x}\sim P_g$。
  • $P_r$：真实数据分布。
  • $P_g$：生成数据分布。
  • $\tilde{x}=G(z)$，其中 $z\sim P(z)$。

• 解释：

  • 判别器最大化：尽可能区分真实样本和生成样本。
  • 生成器最小化：生成看起来尽可能真实的样本，骗过判别器。
  • 本质上是在最小化 Jensen-Shannon 散度，表示 $P_r$ 和 $P_g$ 之间的相似度。

(b) Wasserstein GAN (WGAN)

为克服标准 GAN 的训练不稳定问题（JS 散度导致梯度消失），Arjovsky 等引入 Wasserstein-1 距离：

$$\underset{G}{\min }\underset{D\in \mathcal{D}}{\max }({\mathbb{E}}_{x\sim P_r}[D(x)]-{\mathbb{E}}_{\tilde{x}\sim P_g}[D(\tilde{x})])$$

• 符号说明：

  • $\mathcal{D}$：所有 1-Lipschitz 函数的集合（保证平滑性）。

• 解释：

  • 这里，判别器（称为“critic”）输出的值直接用于估计 Wasserstein 距离（又称 Earth Mover 距离）：
    $$W(P_r,P_g)=\underset{\gamma \in \Pi (P_r,P_g)}{\inf }{\mathbb{E}}_{(x,y)\sim \gamma }[\Vert x-y\Vert ]$$
  • Wasserstein 距离具有更好的梯度性质，不易出现梯度消失。

© WGAN-GP 梯度惩罚

为解决 WGAN 中“权重裁剪（weight clipping）”过于简单导致的性能问题，Gulrajani 等提出了梯度惩罚（GP）：

$$\lambda {\mathbb{E}}_{\hat{x}\sim P_{\hat{x}}}(\Vert {\nabla }_{\hat{x}}D(\hat{x}){\Vert }_2-1{)}^2$$

• 含义：
  • $\hat{x}$ 是真实样本和生成样本之间的随机插值：
    $$\hat{x}=ϵx+(1-ϵ)\tilde{x},ϵ\sim \text{Uniform}(0,1)$$
  • 这项惩罚保证判别器的梯度范数接近 1，满足 1-Lipschitz 条件。
  • $\lambda$ 为权重系数。

条件 GAN (cGAN)

• 定义：

  • cGAN 不是从随机噪声生成样本，而是 条件生成：
    $$G:(x,z)\to y$$
  • 输入：条件输入 $x$ + 随机噪声 $z$。
  • 输出：条件生成的样本 $y$。

• 目标函数（与 GAN 类似，但条件输入参与）：

  • 判别器也接收条件输入，判别 $(x,y)$ 是否匹配。

在图像去模糊中的意义

这对于图像去模糊尤为关键，因为它允许使用轻量神经网络架构，而不需要之前去模糊中常用的深度 ResNet。

意味着：

通过 WGAN-GP 的梯度惩罚，去模糊网络可以训练更稳定，兼容更多小型网络架构，如 DeblurGAN 使用了 pix2pix 类似的条件 GAN 框架。
盲去模糊（$k(M)$ 未知）问题里，条件 GAN 有助于直接从模糊图像到清晰图像的 端到端映射，跳过显式的核估计步骤。

结论

• 图像去模糊问题 = 退卷积问题，盲去模糊是困难的逆问题。
• GAN 框架引入对抗式训练，解决非凸优化问题。
• Wasserstein 距离改善 GAN 的数值稳定性。
• 条件 GAN（cGAN）为图像翻译类任务（如 DeblurGAN）提供了理论基础和数学保证。

提出的方法

目标：给定模糊图像 $I_B$，在没有任何模糊核信息的情况下，恢复清晰图像 $I_S$。
生成器网络 $G_{{\theta }_G}$（称为 Generator）负责去模糊，每个 $I_B$ 生成一个对应的 $I_S$。
在训练阶段，引入判别器网络 $D_{{\theta }_D}$（称为 Critic），二者进行 对抗性训练。

损失函数

总损失公式：

$$\mathcal{L}=\underset{\text{对抗损失}}{\underbrace{{\mathcal{L}}_{\text{GAN}}}}+\lambda \cdot \underset{\text{内容损失}}{\underbrace{{\mathcal{L}}_X}}$$

其中，$\lambda =100$。

对抗性损失

• 常用 Vanilla GAN 目标
• 也有 Least Squares GAN (LSGAN)，更稳定、生成质量更高
• 本文使用 WGAN-GP [11]，已在多种生成器架构上证明鲁棒性

对抗损失公式：

$${\mathcal{L}}_{\text{GAN}}=\sum _{n=1}^N-D_{{\theta }_D}\left(G_{{\theta }_G}(I_B^{(n)})\right)$$

内容损失（感知损失）

常见内容损失：

L1（MAE，平均绝对误差）

L2（MSE，均方误差）

但单独使用像素损失容易产生模糊伪影
因此，采用 感知损失 (Perceptual Loss) ，基于 CNN 特征图差异而非像素差异。

感知损失公式：

$$mathcal{L}_X=\frac{1}{W_{i,j}{H}_{i,j}}\sum _{x=1}^{W_{i,j}}\sum _{y=1}^{H_{i,j}}{\left({\varphi }_{i,j}(I_S{)}_{x,y}-{\varphi }_{i,j}{\left(G_{{\theta }_G}(I_B)\right)}_{x,y}\right)}^2$$

• $W_{i,j},H_{i,j}$：特征图尺寸
• 本文使用 VGG19 的 conv3.3 层
  

感知损失专注于整体内容恢复；对抗损失专注于纹理细节。
去掉感知损失或仅用像素 MSE，模型难以收敛到有意义的结果。

网络架构

生成器

• 两个 stride=2 的卷积块（下采样）
• 9 个残差块（ResBlocks）
• 两个转置卷积（上采样）

每个 ResBlock：

• 卷积层
• InstanceNorm
• ReLU
• Dropout（p=0.5）

判别器

• 使用 WGAN-GP 框架

• 卷积层后接：

  • InstanceNorm
  • LeakyReLU

判别器计算清晰图像与生成图像的 Wasserstein 距离。

实验

• 训练阶段：生成器 + 判别器 对抗性训练
• 测试阶段：仅保留生成器，输入模糊图像 $I_B$，输出去模糊结果 $I_S$。

参考文献

1. Isola et al. “Image-to-Image Translation with Conditional Adversarial Networks”
2. Johnson et al. “Perceptual Losses for Real-Time Style Transfer and Super-Resolution”
3. Gulrajani et al. “Improved Training of Wasserstein GANs”
4. Arjovsky et al. “Wasserstein GAN”
5. Ledig et al. “Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network”