← 全部论文 / 2015

Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

2015 生成式媒体计算
下载 PDF

Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks - 中文验证版

英文原文卡片：dcgan_2015.md

状态：已翻译。

元数据

计算设置

论文明确致谢 NVIDIA 捐赠了一块 Titan X GPU 用于本工作。它没有提供完整的硬件表格、GPU 数量、内存占用、墙钟训练时间或 FLOP 估算，因此不应过度指定 Titan X 之外的具体训练设置。按项目规则，计算语境为 2015 年单高端 GPU 或小型学术/工业 GPU 设置，其中命名的设备为来源支撑的锚点。

训练配方是具体的。所有模型使用 minibatch SGD 训练，minibatch size 为 128。图像缩放到 tanh 区间 [-1, 1]，权重从均值为零、标准差 0.02 的正态分布初始化，LeakyReLU 斜率为 0.2。优化器使用 Adam，学习率 0.0002；论文称建议的 0.001 过高。还将 beta1 从默认的 0.9 降到 0.5 以减少振荡和不稳定。LSUN 卧室实验使用略多于 3M 训练样本，并展示了一个 epoch 和五个 epoch 后的采样结果。

瓶颈

瓶颈不仅是原始的图像生成质量；还在于在适合 Titan X 时代内存预算的分辨率和深度下稳定卷积图像模型的对抗训练。论文称此前用 CNN 扩展 GAN 的尝试均不成功，而 LAPGAN 风格的方法通过低到高分辨率的模型序列生成图像。DCGAN 的目标是给出一个单一的卷积生成器/判别器配方，能够在不同数据集上直接、重复地训练。

内存和优化约束在架构规则中可见。池化和全连接隐藏层可能浪费参数或产生脆弱的梯度路径；batch normalization 可以稳定深层训练，但如果应用到所有层也会导致振荡；Adam 默认设置可能破坏对抗博弈的稳定性。因此 DCGAN 的瓶颈是一个配对的硬件/优化问题：使模型保持卷积化和足够大的批量以获得 GPU 吞吐，同时防止生成器和判别器梯度崩溃或振荡。

方法适配

DCGAN 通过一个简洁的架构配方将 GAN 适配到 GPU 友好的卷积计算。它在判别器中使用步进卷积（strided convolutions）替代池化层，在生成器中使用分数步进卷积（fractional-strided convolutions），使下采样和上采样成为可学习的张量运算。它移除了全连接隐藏层，在生成器和判别器中均使用 batch normalization，生成器除输出层使用 tanh 外均使用 ReLU，判别器使用 LeakyReLU。结果是计算以卷积核和 minibatch 激活张量为主，而非密集 MLP 层或多阶段金字塔。

batch normalization 的选择是计算结构性的，而非仅是装饰性的。论文称 batchnorm 对更深模型至关重要，有助于防止生成器将所有样本坍缩到单一点，但将其应用到所有层会导致样本振荡和不稳定。最终配方避免了在生成器输出和判别器输入上使用 batchnorm。更低的 Adam 学习率和 beta1 是类似的稳定器：它们足够减慢和抚平对抗更新，使单 GPU 规模的训练循环能够取得进展。

证据

证据将生成样本与表示迁移基准相结合。对于 LSUN 卧室，模型在略多于 3M 样本上训练，无数据增强，论文展示了一个训练轮次和五个 epoch 后的生成卧室图像。架构图从一个 100 维均匀噪声输入开始，通过连续的分数步进卷积生成 64x64 图像，正是 Titan X 时代 GPU 可以有效运行的批量图像生成工作负载。

对于 CIFAR-10 迁移，判别器在 ImageNet-1k 上预训练，而非 CIFAR-10。来自判别器所有卷积层的特征被最大池化到 4x4 网格，展平为 28,672 维向量，送入正则化线性 L2-SVM。这达到 82.8% CIFAR-10 准确率，优于列出的 K-means 特征基线，且最高层仅使用 512 个最大特征图。对于仅 1000 个标签的 SVHN，相同特征管线达到 22.48% 测试错误率，报告为该有限标签分类设置下的 state of the art。这些结果支持了判别器的 GPU 训练图像特征在样本生成之外另有用途的主张。

历史影响

DCGAN 成为实用的卷积 GAN 基线，因为它将原始的对抗思想转化为可复现的图像模型配方。后来的图像到图像、表示学习和生成模型论文复用了其步进卷积生成器/判别器结构、batchnorm 放置直觉和 Adam 设置。在历史上，它位于原始 GAN 论文的抽象极小极大框架与后来大规模、精心设计的图像 GAN 时代之间。

从计算角度看，DCGAN 表明对抗性图像生成可以被纳入驱动有监督计算机视觉的同一单 GPU 卷积基础设施中。这使得 GAN 更容易复现和扩展，甚至在当代 FID 风格评估和大规模多 GPU 训练配方成为标准之前。

局限

论文早于现代样本质量度量如 FID，且未提供墙钟时间或设备利用率测量。Titan X 致谢锚定了硬件，但论文未说明每个实验是否在一块 GPU 上运行，也未说明最大规模运行的时长。基准证据也是间接的：CIFAR-10 和 SVHN 结果评估的是判别器特征，而非这些数据集上的无条件样本保真度。

稳定性仍然不完整。结论称随着模型训练更长时间，某些滤波器可能坍缩为单一振荡模式。batchnorm 和 Adam 设置减少了不稳定性，但并未解决对抗动力学问题。因此 DCGAN 的计算贡献是在当时 GPU 上提供了一个实用的卷积 GAN 稳定化配方，而非一个完全稳定或完全可测量的生成训练系统。

链接