多层感知器是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量。MLP可以被看作是一个有向图，由多个的节点层所组成，每一层都全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的神经元。一种被称为反向传播算法的监督学习方法常被用来训练MLP。 多层感知器遵循人类神经系统原理，学习并进行数据预测。它首先学习，然后使用权重存储数据，并使用算法来调整权重并减少训练过程中的偏差，即实际值和预测值之间的误差。主要优势在于其快速解决复杂问题的能力。多层感知的基本结构由三层组成：第一输入层，中间隐藏层和最后输出层，输入元素和权重的乘积被馈给具有神经元偏差的求和结点,主要优势在于其快速解决复杂问题的能力。 MLP是感知器的推广，克服了感知器不能对线性不可分数据进行识别的弱点。
6
双向循环神经网络将两个方向相反的隐藏层连接到同一个输出。通过这种形式的生成式深度学习，输出层可以同时获得来自过去和未来状态的信息。双向循环神经网络由Schuster和Paliwal于1997发明，BRNN的出现增加了网络可用的输入信息量。由于要求固定形式的输入数据，多层感知器和时间延迟神经网络并不灵活，而标准的循环神经网络具有“因果”结构，即当前的输出只能取决于当前和过去的信息，所以也具有一定的限制。相反，循环神经网络不要求其输入数据的形式，同时其输入数据可以包含未来的信息。
全连接层是多层感知器应用在卷积神经网络中的多种组件之一。在深度学习领域中，用于分类任务的卷积神经网络模型的网络结构的最后几层往往是全连接层，用于将从该层之前的几个特征抽取层获得的特征表达向量映射到下一层，或者映射到最终的softmax层。
Mini wiki
