“网络结构说白了，就是神经网络怎么组织，有几层，每层是什么类型，连接方式如何，信息又是怎么在各层之间流动，这是神经网络的‘骨架’，决定了网络的功能和适用场景。”
“网络参数呢，就是神经网络里要学习的权重和偏置，决定了网络怎么从输入数据里提取特征、做出预测。”
“现在学术界流行的多层感知机神经网络，是一种前馈神经网络，结构有输入层、隐藏层和输出层，神经元基本都是全连接。”
“我用的也是相同的结构，在处理 28×28 像素图像的时候，得把图像数据所有像素先展平成一维 784 长的向量数据，然后从输入层一层一层传到输出层，每层通过权重矩阵和激活函数做非线性映射。”
秦奕凭借前世的经验直接指出了当下多层感知机神经网络的缺点所在：“我觉得这个多层感知机这个神经网络目前至少有两个方面可以改进。”
“首先，它的每个神经元都得和上一层的所有神经元相连，这会导致整个神经网络的参数数量是网络层数的 784 倍，这么庞大的参数数量，会导致训练过程特别缓慢，还特别容易引发过拟合问题。”
“其次，因为它需要将所有像素展开成一维数据，这样会将原本图像数据中的笔画或者边缘这种特征丢失。”
历景铄听着，眼睛渐渐亮了起来，若有所思地说：“你是觉得我们可以适当减少不同层之间的网络连接，同时把保留输入数据的二维结构，接着在隐藏层里面针对二维矩阵进行学习？”
他突然一拍大腿，兴奋地说：“有了！我之前看到过瀛国科学家福岛邦彦的一篇论文，他好像就有差不多的思路！” 说着，他快步走到那堆论文文件夹前，手忙脚乱地翻找起来，嘴里还嘟囔着：“在哪呢，到底放哪了……”
找了好一会儿，终于翻出一篇题为? Neocognitron? 的论文，他连忙拿到秦奕面前，说：“秦哥，你看这篇名叫新认知机的论文，里面提出了局部感受野和层次化特征提取的思想。”
“他的网络结构包含 S 层和 C 层，S 层也就是简单细胞层用卷积操作提取局部的二维空间特征，C 层复杂细胞层则整合 S 层中一组简单细胞的输出，提取更高级的特征，这能在一定程度上减少网络里的参数。”
他赶紧去自己那一堆论文文件夹里面翻找了一番，然后拿出了一篇题为 ?Neocognitron? 的论文给秦奕看：“这篇名叫新认知机的论文里面就提出了局部感受野和层次化特征提取的思想。”