← 全部论文 / 2015

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

2015 单 GPU 深度学习 被引用 24k 次
下载 PDF

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift - 中文验证版

英文原文卡片：batch_norm_2015.md

状态：已翻译。

元数据

  • Slug： batch_norm_2015
  • 年份： 2015
  • 会议： ICML
  • 作者： Sergey Ioffe, Christian Szegedy
  • 阅读状态： read complete
  • 计算范式： 单 GPU 深度学习
  • 主要来源： PDF、抽取文本

计算设置

论文抽取文本未列出确切的处理器、GPU 或集群节点。对于 ImageNet，它说明 Inception 变体使用 SGD 加 momentum、minibatch size 32，在类似于 Dean et al. 2012 的"大规模分布式架构"上训练。按项目规则，设备语境基于 2014-2015 年 Google 深度学习环境推断：pre-TPU、GPU/CPU 集群过渡期的分布式数据中心训练。该推断不是论文声明的硬件主张。

论文明确的计算设置在于 minibatch 接口。它论证了 minibatch 改善了梯度估计，且在一个 batch 上计算可以比分别对 m 个独立样本计算高效得多。BatchNorm 将同一个 batch 轴转化为归一化资源：每个激活使用当前 minibatch 的统计量进行归一化，卷积层跨样本和空间位置聚合。对于 minibatch size 为 m、特征图大小为 p x q 的情况，一个特征图的有效样本集为 m * p * q。

瓶颈

瓶颈不是原始的 ImageNet 卷积本身；而是深层网络达到准确之前所需的昂贵分布式优化步数。作者将问题界定为内部协变量偏移（internal covariate shift）：随着较早层的改变，较晚层持续面临变化的输入分布。这迫使使用更小的学习率、谨慎的初始化和避免饱和的非线性。在分布式 ImageNet 训练器上，每个额外步骤都意味着更多前向和反向卷积工作、更多参数流量和更多数据管线工作。

论文还揭示了一个 batch 构成的瓶颈。BatchNorm 的部分正则化效果源于每个样本使用依赖 minibatch 中其他样本的统计量进行归一化。作者报告更彻底的 shard 内混洗将验证准确率提升约 1%，因此输入管线影响每个训练步的价值。

方法适配

Batch normalization 通过以下方式适配 minibatch 加速器训练：

  • 为激活计算每个 minibatch 的均值和方差。
  • 在归一化激活的同时学习 scale 和 shift 参数。
  • 使用跨 minibatch 和空间位置的卷积特征图统计量。
  • 允许更高学习率和更快学习率衰减。
  • 在测试的 Inception 变体中减少或移除对 dropout 与局部响应归一化（local response normalization）的需求。
  • 训练后使用总体统计量进行确定性推理。

ImageNet 适配有意识地考虑了计算约束。BN-Inception 变体保持架构为卷积式，具有 13.6M 参数且除 softmax 外无全连接层。训练配方然后将节省的稳定性预算用于更高学习率：BN-x5 将初始学习率提高 5 倍，BN-x30 提高 30 倍。原版 Inception 在同样 5 倍提升下发散为无穷大，因此改进不仅仅是优化器微调；BatchNorm 改变了分布式训练器的稳定工作范围。

若干移除也对吞吐量有意义。移除 dropout 避免了随机掩码带来的额外收敛成本。移除局部响应归一化去掉了较旧的 CNN 归一化原语。减少光度畸变是有道理的，因为更快的训练意味着每张图像被看到的次数更少；训练器可以花更少的 CPU/输入管线功夫制造畸变变体，而将更多稀缺的训练预算留给"真实"样本。

证据

  • MNIST 诊断实验训练一个 3 隐藏层 sigmoid 网络，共 50,000 步，每个 minibatch 60 个样本；BN 版本训练更快，达到更高测试准确率，并显示远更稳定的隐藏激活分布。
  • ImageNet 运行使用 LSVRC2012，minibatch size 32，分布式架构，以及在 1000 个类上的单裁剪（single-crop）验证准确率。
  • 基线 Inception 模型在 31.0 * 10^6 步后达到 72.2% 准确率。BN-Baseline 在 13.3 * 10^6 步后达到同一目标，并达到 72.7% 最高准确率。
  • BN-x5 在 2.1 * 10^6 步后达到 72.2%，论文总结为 14 倍更少步数，并达到 73.0% 最高准确率。
  • BN-x30 在约 6 * 10^6 步后达到 74.8%，比基线仅达到 72.2% 所需的步数少五倍。
  • 集成证据使推理成本明确化：BN-Inception 单裁剪达到 25.2% top-1 和 7.82% top-5 验证误差；144-crop 多裁剪推理达到 21.99% 和 5.82%；一个 6 模型、144-crop 集成达到 20.1% 和 4.9% 验证 top-5，ImageNet 服务器报告的测试 top-5 为 4.82%。

历史影响

Batch normalization 成为标准的 GPU/分布式训练适配手段，因为它攻克了 2015 年深度学习中最为昂贵的部分：反复出现的不稳定优化步骤。它使更深的卷积模型更容易以高学习率驱动，并帮助模型设计从手工调参的初始化、回避 sigmoid、dropout 密集型训练和较旧的局部响应归一化中转向。

在计算脊柱中，该卡片位于 AlexNet 式 GPU CNN 与后来的残差/Transformer 系统之间。它展示了一个后来反复出现的通用模式：当硬件使更大 batch 和密集层变得便宜时，改善每个步骤的统计价值和稳定性的方法可能与降低每步 FLOP 的方法同等重要。

局限

  • Batch 统计量在 minibatch 内耦合了样本，这后来给小 batch 训练和某些分布式场景带来了问题。
  • 论文的确切硬件未在抽取文本中列出。
  • 论文中最有力的证据来自 CNN/ImageNet 训练；后来的 layer normalization 和 RMSNorm 在序列模型和 Transformer 中变得更加核心。
  • 报告的最佳 ImageNet 数值使用了昂贵的多裁剪和集成推理，因而不是纯单次前向传递的部署结果。

链接