神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层。

输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。

早期感知机的推动者是Rosenblatt。

但是，Rosenblatt的单层感知机有一个严重得不能再严重的问题，即它对稍复杂一些的函数都无能为力（比如最为典型的”异或”操作）。

连异或都不能拟合，你还能指望这货有什么实际用途么. 随着数学的发展，这个缺点直到上世纪八十年代才被Rumelhart、Williams、Hinton、LeCun等人发明的多层感知机（multilayer perceptron）克服。

多层感知机，顾名思义，就是有多个隐含层的感知机。

多层感知机解决了之前无法模拟异或逻辑的缺陷，同时更多的层数也让网络更能够刻画现实世界中的复杂情形。

多层感知机给我们带来的启示是，神经网络的层数直接决定了它对现实的刻画能力#8212;#8212;利用每层更少的神经元拟合更加复杂的函数[1]。

（Bengio如是说：functions that can be compactly represented by a depth k architecture might require an exponential number of computational elements to be represented by a depth k #8722; 1 architecture.） 即便人们早就预料到神经网络需要变得更深，。

随着神经网络层数的加深，优化函数越来越容易陷入局部最优解，并且这个”陷阱”越来越偏离真正的全局最优。