Pre-2012 CPU and statistical foundations

英文原文文件：README.md

设备/设置

以 CPU 研究机器、小型基准数据集、早期网页/数据基础设施为主，尚无神经网络专用加速器。

瓶颈

主要瓶颈是信用分配、表示学习、基准可复现性和 CPU 时间限制，而不是加速器吞吐。

适配的方法

反向传播、支持向量机、小型卷积网络、自编码器、深度信念网络、SGD 经验和标准数据集，让 CPU 上的学习实验可复现。

变得过时或不再中心的方法

手工特征流水线和微型任务演示，在 GPU 让端到端表示学习变得经济之后，不再居于核心地位。

代表性论文

排名	年份	论文	优先级	状态
1	2009	ImageNet: A large-scale hierarchical image database	10	downloaded / read_complete
2	1986	Learning representations by back-propagating errors	9	downloaded / read_complete
3	1998	Gradient-based learning applied to document recognition	9	downloaded / read_complete
4	2006	Reducing the dimensionality of data with neural networks	8	downloaded / read_complete
5	2006	A fast learning algorithm for deep belief nets	8	downloaded / read_complete
6	1995	Support-vector networks	7	downloaded / read_complete
7	2010	Large-scale machine learning with stochastic gradient descent	5	downloaded / read_complete
8	1998	The MNIST database of handwritten digit images for machine learning research	3	html_saved_no_pdf / read_complete

开放问题

• 梳理 GPU 时代到来之前，数据/基准基础设施与学习算法的协同演化。