递归神经网络研究进展

HojjatSalehinejad、沙兰Sankar、JosephBarfett、ErrolColak和ShahrokhValaee

索引术语-深度学习、长期依赖性、循环神经网络、时间序列分析。

I.一、生产

“浅层网络”是指具有一个输入层、一个输出层和最多一个没有循环连接的隐藏层的人工神经网络。随着网络层数的增加，网络的复杂性也随之增加。 更多的层数或递归连接通常会增加网络的深度，并使其能够提供各种级别的数据表示和特征提取，称为“深度学习”。一般来说，这些网络由非线性但简单的单元组成，其中，=61>层提供数据的更抽象的表示，并抑制不需要的可变性[1]。 由于每一层的非线性组合造成的优化困难，在2006年取得重大进展之前，没有太多关于深度网络架构的工作[2]，[3]具有循环连接的ANN被称为循环神经网络<span id=116>（RNN），能够对序列数据进行建模，用于序列识别和预测[4]RNN由具有非线性动力学的高维隐藏状态组成[5]隐藏状态的结构作为网络的记忆和</span>隐藏层每次都以其先前的状态为条件[6]这种结构使RNN能够长时间存储、记忆和处理过去的复杂信号。RNN可以将输入序列映射到当前时间步的输出序列，并预测下一个时间步的序列。

在基于RNN的文献中，从阿尔奇设计到应用，都有大量的论文发表

H. Salehinejad是加拿大多伦多的多伦多大学电子&计算机工程系和加拿大圣路易斯的医学影像系的教授。加拿大多伦多多伦多大学迈克尔医院，电子邮件：salehinejadh@ smh. ca。

S. 桑卡尔就职于加拿大滑铁卢大学电气与计算机工程系，电子邮件：sdsankar@ edu. uwaterloo. ca。

J. Barfett和E. Colak是加拿大多伦多多伦多大学圣迈克尔医院医学影像系的电子邮件barfettj，colake@smh.ca。

S. Valaee在加拿大多伦多的多伦多大学电子&计算机工程系工作，电子邮件：valaee@ece.utoronto.ca。

表1：递归神经网络（RNN）的一些主要进展一览。

发展在本文中，我们重点讨论离散时间RNN和该领域的最新进展。表I列出了RNN在时间上的一些主要进展。使用梯度下降（GD）的反向传播的发展为训练RNN提供了很好的机会。这种简单的训练方法加速了开发RNN的实际成就[5]。 然而，它带来了一些挑战，在建模长期的依赖，如消失和爆炸梯度问题，这是讨论这一点

本文

其余的文件组织如下。RNN的基本原理在第二节中介绍。第三节讨论了训练RNN的方法，第四节介绍了各种RNN架构。训练RNN的正则化方法将在第五节中讨论。最后，在第六节中简要介绍了RNN在信号处理中的主要应用。

二.一个简单的欧元汇率网络

RNN是一类有监督的机器学习模型，由具有一个或多个反馈回路的阿尔蒂神经元组成[7]反馈回路是随时间或序列（我们在本文中称之为时间）而循环的周期[8]，如<span id=43>在图1中。以监督的方式训练RNN需要输入-目标对的训练数据集。目标是最小化输出和目标对之间的差异（即，损失值）。

A. 模型架构

一个简单的RNN有三层，分别是输入层、递归隐藏层和输出层，如图1a所示。输入层具有N个输入单元。该层的输入是通过时间t的向量序列，例如{. x1，x，xt+1，.}，其中x=（x1，x2，...，xN）。 全连接RNN中的输入单元连接到隐藏层中的隐藏单元，其中连接由权矩阵WIH定义。隐藏层具有M个隐藏单元ht=（h1，h2<span id=98>，.，hM），它们通过循环连接在时间上相互连接，图1b。使用小的非零元素初始化隐藏单元可以提高网络的整体性能和稳定性[9]隐藏层将系统的状态空间或“内存”定义为

h= fH（o），（1）

哪里

o=WIHX+WHHh1+Bh，（2）

fH（·）是隐藏层激活函数，并且Bh是隐藏单元的偏置向量。隐藏单元通过加权连接WHO连接到输出层。

层具有P个单元y=（y1，y2，...，yP），其计算为y= fO（WHOh+Bo）（3）

其中fO（·）是激活函数，并且BO是输出层中的偏置向量。由于输入-目标对在时间上是连续的，因此在时间t=（1，.，T）的情况下。 等式（1）和（3）表明RNN由某些非线性状态方程组成，这些方程可随时间迭代。在每个时间步中，隐藏状态基于输入向量在输出层提供预测。RNN的隐藏状态是一组值，除了任何外部因素的影响外，它总结了许多时间步长上关于网络过去状态的所有唯一必要信息。这些综合信息可以定义网络的未来行为，并在输出层做出准确的预测[5]。 RNN使用简单的

t
t+1t+2时间

（B）随时间展开的RNN。

图1：一个简单的递归神经网络（RNN）及其随时间的展开结构。每个箭头显示层之间的单元的完整连接。为了使数字简单，没有显示偏差。

非线性激活函数。然而，这种简单的结构是能够建模里奇动态，如果它是通过时间步长良好的训练。

B。激活函数

对于线性网络，多个线性隐藏层充当单个线性隐藏层[10]非线性函数比线性函数更强大，因为它们可以在边界附近绘制非线性。RNN中的一个或连续隐藏层中的非线性是学习输入-目标关系的原因。

一些最流行的激活函数如图2所示。近年来，“sigmoid“、“tanh“和修正的艾德线性单元（ReLU）比其他激活函数受到了更多的关注。 “sigmoid”是一种常见的选择，它接受一个真实的-值并将其压缩到范围[0，1]。该激活函数通常用于输出层，其中交叉熵损失函数用于训练分类模型。 “tanh”和“sigmoid”激活函数是

和

分别“tanh”激活函数实际上是一个缩放的“sigmoid”激活函数，例如

σ（x）=

ReLU是另一个流行的激活函数，它对于正输入值是开放式的[3]，定义为

y（x）=max（x，0）。（七）

激活函数的选择主要取决于问题和数据的性质。例如，“sigmoid”适用于输出在[0，1]范围内的网络，然而，“tanh“和“sigmoid“激活函数使神经元非常快地饱和，并且c可以使梯度消失。尽管有“tanh”，但“sigmoid”的非零集中输出

out

1 0.5 0 −0.5 −1

out

1 0.5 0 −0.5 −1

（e）sinnet直到饱和。(f)S形2：最常见的激活功能。

可能导致权重的梯度更新S中的不稳定动态。与“sigmoid”或“tanh”激活函数相比，ReLU激活函数导致梯度更稀疏，并大大加速了随机梯度下降（SGD）的收敛[11]。 ReLU在计算上是非常简单的，因为它可以通过将激活值阈值设置为零来实现。然而，ReLU不再抵抗大的梯度流，并且随着权重矩阵的增长，神经元在训练期间可能保持不活动。

C. 损失函数

损失函数通过比较输出y与相应的目标z来评估网络的性能，定义为

L（y，z）= 0t

这是每个时间步中损失的总和[12]损失函数的选择取决于问题。一些流行的损失函数是用于预测实值的欧几里得距离和汉明距离，以及分类问题输出概率分布的交叉熵[13].

三. TRAININGRECUREANEURALNETWORK

RNN的有效训练是一个主要问题。困难在于正确初始化RNN中的权重s。

网络和优化算法来调整它们，以最小化训练损失。网络参数之间的关系和隐藏状态随时间的动态变化会导致不稳定性[4]。 对文献中提出的方法的一瞥表明，主要焦点是降低训练算法的复杂性，同时加速收敛。然而，通常这样的算法需要大量的迭代来训练模型。 用于训练RNN的一些方法是多网格随机搜索，时间加权伪牛顿优化GD扩展卡尔曼滤波器（EKF）[15]，Hessian-free，期望最大化（EM）[16]，近似Levenberg-Marquardt[17]和全局<sp优化算法。在本节中，我们将详细讨论一些se方法。详细比较见[18].

A.初始化

RNN中权重和偏差的计算是至关重要的。一般规则是为权重分配较小的值。标准差为0.001或0.01的高斯绘制是合理的选择[9]，[19]。 偏差通常设置为零，但输出偏差也可以设置为非常小的值[9]然而，参数的初始化取决于输入数据的任务和属性，例如维度[9]使用<span id=78>先验知识或半监督方式是其他方法[4].

B。基于梯度的学习方法

梯度下降（GD）是深度学习中一种简单而流行的优化方法。基本思想是通过找到模型中权重矩阵每个成员的误差函数导数来调整模型的权重[4]为了使总损失最小化，GD与<如果非线性激活函数是可微的，则误差相对于该权重的导数。 GD也称为批处理GD，因为它在每次优化迭代中计算整个数据集的梯度，以执行单个更新，

θt+1 = θt −

其中U是训练集的大小，λ是学习率，dθ是参数集。这种方法对于非常大的数据集在计算上是昂贵的，并且不适合在线训练（即，当输入到达时训练模型）。

由于RNN是一个通过时间的结构，我们需要通过时间来扩展GD来训练网络，称为通过时间的反向传播（BPTT）[20]然而，通过时间计算误差导数是困难的[21]这主要是由于参数和动态之间的关系<span RNN的id=40>，这是非常不稳定的，使GD无效。随着依赖关系持续时间的增加，基于依赖关系的算法很难捕获依赖关系[4]。 损失函数关于权重的导数仅考虑当前输出与相应目标之间的距离，而不使用历史信息进行权重更新[22]。 RNN无法学习长距离时态

表II：比较主要梯度下降（GD）方法，其中N是网络中的节点数，O（·）是每个数据点。更多详细信息请参阅[14].

dh1dhtdh+1

时间

图3：随着网络随着时间的推移接收新的输入，单元的灵敏度会衰减（层中较浅的阴影），并且通过时间的反向传播（BPTT）会覆盖隐藏单元中的激活。这导致忘记早期访问的输入。

GD用于训练时的依赖性[4]这是由于梯度的指数衰减，因为它是通过时间反向传播的，这被称为消失梯度问题。在另一种偶然的情况下，反向传播的梯度可以指数地爆破，这增加了梯度的方差，并导致非常不稳定的学习情况，称为梯度爆炸问题[5]这些挑战在本节中讨论。主要GD方法的比较见表II，基于梯度的优化算法概述见[18].

1）通过时间的反向传播（BPTT）：BPTT是

前馈网络反向传播的推广。用于学习RNN的标准BPTT方法及时“展开”网络，并通过时间向后传播错误信号。通过将图1B中的网络参数视为集合θ ={WHH，WIH，WHO，BH，B，BO}，并且ht作为网络在时间t的隐藏状态，我们可以<span id=65>将梯度写成

其中，在时间t处损失函数梯度的展开为：

哪里

我们可以考虑Eq。作为等式（1）中的隐藏状态参数的雅可比矩阵，

其中f（·）是函数f（·）的逐元素导数，diag（·）是对角矩阵。

我们通常可以识别隐藏状态s随时间在网络中的长期和短期贡献。长期依赖性指的是输入和对应的隐藏状态在时间k <<t的贡献，而短期依赖性指的是其他时间[19]图3显示，随着网络随着时间的推移而进展，输入x1在</s的贡献pan>离散时间t−1通过时间消失到时间步长t +1（层中的深灰色变为更高的灰色）。另一方面，损失函数值Lt+1相对于时间t+1处的隐藏状态ht+1的贡献

在BPTT中的时间步长要比过去长得多。

2）消失梯度问题根据文献，可以通过使用强非线性来捕获真实的世界中的数据的复杂模式[6]然而，这可能导致RNN遭受消失梯度问题[4]这个问题指的是指数</span>当它们通过时间传播回来时，梯度幅度的收缩。这种现象导致网络的记忆忽略长期依赖性，并且几乎不学习时间上遥远的事件之间的相关性B。有两个原因：

1)标准的非线性函数，如sigmoid函数，其梯度几乎处处接近于零;

2）梯度的大小一遍又一遍地乘以

递归矩阵，因为它是通过时间反向传播。在这种情况下，当非递归矩阵的特征值小于1时，梯度迅速收敛到零。这通常发生在5-10步的反向传播[6].

在长序列上训练RNN时（例如，100个时间步），当权重较小时，梯度会收缩。一组真实的数的乘积可以分别收缩/爆炸为零/无穷大。对于基质，存在相同的类比，但是收缩/爆炸沿着沿着一些直接离子发生。文[19]证明了当ρ为递归权矩阵WHH的谱半径时，在ρ>1处，长期分量必随t→∞爆炸。 可以使用奇异值将其推广到非

||≤γ。||≤γ. （十四）

使用等式（13）雅可比矩阵

卡宾枪

我们可以考虑||

我们可以得到损失函数分量

||

这个方程表明，随着t-k变大，长期依赖性趋向于零，瓦尼问题发生。最后，我们可以看到，梯度消失问题出现的充分条件是递归权重矩阵W HH的最大奇异值（即，，λ1）

萨蒂斯λ1%3C

3）爆炸梯度问题：使用BPTT训练RNN的主要问题之一是爆炸梯度问题[4]随着权重变得更大，并且<span>的数量增加，在长序列上训练RNN的过程中可能会爆炸 id=43>训练期间的梯度大大增加。正如[19]中所述，这种情况发生的必要条件是λ1>

为了克服爆炸梯度问题，最近提出了许多方法。2012年，Mikolov提出了一种梯度模裁剪方法，以避免在大型数据集上使用BPTT和SGD等简单工具训练RNN时出现梯度爆炸问题[23]，[24]在类似的方法中，Pascanu通过引入</spa提出了一种与Mikolov几乎相似的方法n>作为用于对梯度进行范数裁剪的阈值的超参数[19]。 这个参数可以由算法来设定，但是训练过程不是很敏感

并且对于相当小的阈值表现良好。

4）随机梯度下降：SGD（也称为在线GD）是GD的推广，广泛用于机器学习应用[12]SGD是鲁棒的，可扩展的，并且在许多不同的领域都表现良好，从光滑和强凸问题<span id=40>到复杂的非凸目标。 尽管GD中有冗余计算，

图4.经典动量和Nesterov加速梯度格式。

SGD每次执行一次更新[25]对于输入-目标对{xk，z}，其中k∈{1，.，U}，θ中的参数根据下式更新：

这种频繁的更新导致损失函数输出的波动，这有助于SGD探索具有更高多样性的问题景观，希望找到更好的局部最小值。自适应学习率可以控制SGD的收敛，使得随着学习率的降低，探索减少而利用增加。它可以更快地收敛到局部最小值。加速SGD的经典技术是使用动量，其在跨迭代朝向目标的持续减少的方向上累积速度向量[26]。动量的经典版本适用于时间<span的损失函数L。 id = 88 t与A . A . A设置 。of parametersθA . A .

v . v+1=v . v- -λ = λ = λL .（ ）) （ 18 ）

其中，μ L（·）是损失函数的梯度，μ∈[0，1]是动量系数[9]，[12]如图4a所示，θ中的参数更新为

θt+1= θ+v+1。（十九）

The Nesterov accelerated gradient (NAG) is a first-order optimization method that provides more efficient convergence rate for particular situations (e.g., convex functions with de- terministic gradient) than the GD [27]. The main difference between NAG and GD is in the updating rule of the velocity vector v, as presented in Figure 4b, defined as 重试    错误原因

v . v+1 。=v . v- -λ = λ = λL .（ + ）v . v)（ 20 ）

在 哪里 ？ 在 哪里 ？The The参数 in 参数 in 参数θAre更新 的 版本使用 usingEq .. （ 19 ）. 由 . .ReasonableVigne-Tuningof of of ofThe The动量 （ moment ）Coefµ它 是 一 个是 的 ， 是 的 。possibleto增加 的 人数The The优化 优化 （ Optimization ）per .formance[ 9 ] 。.

5）小批量梯度洗脱：小批量GD组分

设置一批训练数据的梯度，其中有多个训练样本。典型的小批量为50≤B≤256，但可以根据不同的应用而变化。喂养

小批量的训练样本加速了GD，并且适合于图形处理单元（GPU）上的处理负载分布。更新规则在B示例之后修改参数，而不需要等待扫描所有示例，例如

θ= θt-1-

由于基于GD的算法通常依赖于梯度的瞬时估计，因此它们对于时间序列数据[22]是缓慢的，并且对于n个非凸函数[28]的优化是无效的。=42>速率，这通常是棘手的并且取决于应用。

SGD比GD快得多，可用于跟踪更新。 然而，由于mini-batchGD更容易并行化，并且可以利用矢量化实现，因此它的性能明显优于GD和SGD[25]与SGD相比，良好的矢量化甚至可以导致更快的结果。此外，非随机初始化方案，例如逐层预训练，可以帮助更快地

优化[29]在[30]中提供了更深入的分析。.

6）Adam随机优化：自适应矩估计（Adam）是一种基于一阶矩的优化算法，它使用低阶矩的估计来优化随机目标函数[31]它需要初始化一阶矩向量m0和<span id=41>二阶矩矢量

时间戳为0时的v 0。se向量更新为

m+1= β1m+（1 - β1）g+1（22）

和

v+1= β2v+（1 - β2）g+1，（23）

其中gt+1是损失函数的梯度。矩估计值的指数衰减率建议为β1=0.9和β2=0.999[31]一阶矩和二阶矩估计值的偏倚校正为

t+1=t+1=v/（1 -β+1），（24）

和

t+1=v/（1 - β+1）。（二十五）

然后，参数更新为

θt+1= θt-

其中，n = 10-8。亚当算法实现起来相对简单，适用于非常大的数据集[31]。.

C.基于扩展卡尔曼滤波器的学习

卡尔曼滤波是一种基于随时间观察到的一系列测量值来预测系统未来状态的方法，该方法使用贝叶斯推断并估计每个时间步长的变量的联合概率分布[32]扩展卡尔曼滤波（EKF）是非线性版本的卡尔曼滤波器它放宽了状态转移和观测模型的线性前提条件。然而，它们可能反而需要是可微函数。 EKF训练RNN

假设权重的最佳设置是平稳的[22]，[33]与反向传播相比，EKF帮助RNN更快地达到非平稳过程的训练稳态。 它可以在有限数据的训练中优于反向传播算法[15]类似于SGD，它可以在线方式用输入数据训练RNN[33].

EKF的一个更有效的版本是解耦EKF（DEKF）方法，它忽略了互斥的权重组的相互依赖性[32]这种技术可以降低计算复杂度和每个训练实例所需的存储。解耦的扩展卡尔曼滤波器（DEKF）将扩展卡尔曼滤波器独立地应用于每个神经元，以估计馈送它的最佳权重。 训练过程被建模为最优滤波问题。它递归而有效地计算最小二乘问题的解决方案，以最小化数据和曲线之间的平均距离为给定数据集找到最佳拟合曲线。在时间步t，所有提供给网络的信息直到时间t被使用，包括自学习过程s的第一次迭代以来计算的所有导数。然而，计算只需要上一步的结果，不需要存储该步骤之后的结果[22]。在RNN中基于卡尔曼的模型在计算上是昂贵的，并且在过去几年中很少受到关注。

D.二阶优化

二阶优化算法利用函数的二阶导数信息。假设具有良好的二阶展开逼近的二次函数，牛顿方法可以通过向全局最小值移动而比GD执行得更好、更快[34]这是因为GD中的优化方向是逆梯度的，并且在鞍点附近陷入困境</span>点或局部极值。基于GD的模型的另一个挑战是学习率的设置，这通常是棘手的，并且依赖于应用程序。然而，二阶方法通常需要计算Hessian矩阵和Hessian矩阵的逆，与GD方法相比，这在RNN中是一项困难的任务。