← 全部论文 / 2006

A fast learning algorithm for deep belief nets

2006 2012 年前 CPU 与统计基础 被引用 16k 次
下载 PDF

A fast learning algorithm for deep belief nets - 中文验证版

英文原始依据卡片：deep_belief_nets_2006.md

状态：已翻译。

元数据

计算设置

论文给出了罕见的显式 CPU 时代设备声明。MNIST 网络在 3GHz Xeon 处理器上使用 Matlab 训练。贪婪逐层训练在该机器上花费"每层数小时"，在上-下微调加上在所有 60,000 个样本上的额外训练之后，总学习时间约为一周。这明确将结果置于消费级 GPU 深度学习之前。

模型规模按后来标准适中，但在当时是大型的。表中架构为 784 -> 500 -> 500 <-> 2000 <-> 10，据论文约有 170 万权重。MNIST 设置使用 60,000 张训练图像和 10,000 张官方测试图像。初始训练使用 44,000 张图像，分为 440 个均衡 mini-batch，每个包含每种数字 10 个示例，每个 mini-batch 后更新权重。每个 RBM 层在训练集上训练 30 次扫描，然后整个网络用上-下算法微调 300 个 epoch，随后在所有 60,000 张训练图像上再训练 59 个 epoch。

瓶颈

瓶颈是在 CPU 约束下深度有向模型中的概率推断和信用分配。密集连接的有向信念网络受到 explaining away 的困扰，使得隐藏变量上的后验推断除特殊情况外不可解。原则上 MCMC 可以从后验中采样，但在每次学习更新中嵌入它对于 3GHz CPU 过于昂贵。标准变分近似可能较差，尤其是在高层隐藏层。

硬件约束体现在实验选择中。MNIST 被视为排列不变问题：不使用卷积、权重共享或几何预处理。这使得结果成为深度生成学习的干净测试，但也意味着模型无法利用后来使 CNN 在 GPU 上高效的图像特定局部性。作者明确表示，他们尚未为生成模型探索畸变数据增强，因为许多畸变类型需要研究且微调算法目前太慢。

方法适配

该方法既是一种学习算法，也是一种计算适配。论文不是一次性拟合整个深度有向网络，而是一次一层地将网络训练为受限玻尔兹曼机。对比散度替代了完整的玻尔兹曼机最大似然，因为它效果好且快得多。一层训练完成后，其隐藏激活成为下一层的"数据"。这种贪婪预训练在缓慢的全局微调开始之前，将深度模型权重置于一个已经良好的区域。

架构也被设计为支持并行本地更新，尽管报告的实现是 CPU Matlab。在 RBM 中，层内单元没有层内连接，因此给定可见状态时所有隐藏单元可并行更新，给定隐藏状态时所有可见单元可并行更新。实现没有利用现代 GPU 核，但算法形态已经预示了后来适合加速器的神经计算。

贪婪训练后，论文解绑识别权重和生成权重，并应用对比版本的 wake-sleep，称为上-下算法。微调仍然昂贵，但贪婪阶段足够减少搜索问题，使微调在大约一周内变得可行，而非从随机初始化开始就完全不稳定或过慢。

证据

论文的证据与其计算主张紧密相连。在基础的、排列不变的 MNIST 任务上，贪婪预训练网络在每层数小时后初始达到 2.49% 测试错误率。经过 300 个 epoch 的上-下微调和最终在所有 60,000 个训练案例上的 59 个 epoch 后，在官方 10,000 张图像测试集上达到 1.25% 错误率。作者报告了一个中间验证选择网络为 1.39%，然后全数据训练后的最终 1.25% 网络。

比较表使结果具有历史意义。784 -> 500 -> 500 <-> 2000 <-> 10 的生成模型在排列不变设置上达到 1.25%。论文引用支持向量机为 1.4%、反向传播网络为 1.51% 和 1.53%，另一个反向传播基线为 2.95%。作者也承认，使用畸变数据和卷积结构的特定领域图像方法可以做得更好，包括 LeNet 式结果约 0.95% 及更低的后续畸变数据方法。但这些方法使用了图像先验或增强；DBN 结果显示，无监督逐层预训练可以使一个深度、密集的生成模型在 CPU 时代硬件上具有竞争力。

训练调度本身就是瓶颈的证据。在连续 100 epoch 块中将联想记忆中的 Gibbs 迭代从三次提高到六次再到十次降低了验证错误率，但每次增加都增加了采样成本。更好的近似推断改善了模型，但每一步额外的 Gibbs 步骤消耗了宝贵的实际运行时间。

历史影响

深度信念网络使深度学习在 GPU/CNN 突破之前看起来再次可训练。它们的历史角色不在于 RBM 成为视觉或语言的最终架构，而在于贪婪无监督预训练在有限计算和糟糕的随机初始化行为下提供了实用配方。该方法将一个困难的全局优化问题分解为可解的局部问题，然后使用较慢的全局传递。

在计算主线中，这是 2012 年前 CPU 基础。论文展示了该时代的一个特征模式：巧妙的概率结构和逐层训练补偿了薄弱的设备。后来的 GPU 减少了对这种特定预训练方案的需求，但论文帮助确立了深度、学习表示、minibatch 训练和生成预训练作为核心思想。

局限

局限主要是计算和归纳偏置的局限。在 3GHz Xeon 上使用 Matlab 为 MNIST（按现代标准很小的数据集）训练需要约一周时间。微调算法明确地对于广泛探索畸变数据增强来说太慢，论文未展示扩展到自然图像、语音或更大语料库。由于报告的模型是排列不变的，相对于使用图像几何的卷积方法，它留下了性能空间。

学习过程也仍然复杂。它结合了 RBM 预训练、对比散度、随机二值单元、联想记忆、Gibbs 采样调度、验证选择的超参数和上-下微调。论文使深度生成学习在 CPU 硬件上变得可行，但并不简单、不快速、也未广泛自动化。后来的加速器时代反向传播将用更大的数据集、修正单元、归一化和直接监督或自监督训练替代这一机制的很大部分。

链接

  • 所属计算范式：compute spine
  • 计算范式：history/compute_regimes/pre_2012_cpu_statistical_foundations/README.md
  • 后续链接卡：AlexNet 2012
  • 方法索引：backpropagation
  • Ledger 更新：compute bottlenecks
  • 源 PDF 和抽取文本见上方元数据。
  • 队列状态：read_complete。