选自arXiv

作者：Batchlechner等

机械之心编译

机械之心编辑部

深度学习在众多领域都取得了显著希望，但与此同时也存在一个问题：深层网络的训练经常面临梯度消逝或梯度爆炸的阻碍，尤其是像 Transformer 这样的大型网络。现在，加州大学圣迭戈分校的研究者提出了一种名为 ReZero 的神经网络结构改善方式，并使用 ReZero 训练了具有一万层的全毗邻网络，以及首次训练了跨越 100 层的 Tansformer，效果都十分惊艳。

深度学习在盘算机视觉、自然语言处置等领域取得了许多重大突破。神经网络的表达能力通常随着其网络深度呈指数增进，这一特征赋予了它很强的泛化能力。然而深层的网络也发生了梯度消逝或梯度爆炸，以及模子中的信息通报变差等一系列问题。研究人员使用精心设计的权值初始化方式、BatchNorm 或 LayerNorm 这类标准化手艺来缓解以上问题，然而这些手艺往往会花费更多盘算资源，或者存在其自身的局限。

克日，来自加州大学圣迭戈分校（UCSD）的研究者提出一种神经网络结构改善方式「ReZero」，它能够动态地加速优质梯度和随便深层信号的流传。

论文地址：https://arxiv.org/abs/2003.04887v1

代码地址：https://github.com/majumderb/rezero

这个想法实在异常简朴：ReZero 将所有网络层均初始化为恒等映射。在每一层中，研究者引入了一个关于输入信号 x 的残差毗邻和一个用于调治当前网络层输出 F(x) 的可训练参数α，即：

在刚开始训练的时刻将α设置为零。这使得在神经网络训练初期，所有组成变换 F 的参数所对应的梯度均消逝了，之后这些参数在训练历程中动态地发生合适的值。改善的网络结构如下图所示：

图 1：ReZero 结构示意图

ReZero 主要带来了以下两个益处：

1. 能够训练更深层神经网络

学习信号能够有用地在深层神经网络中通报，这使得我们能够训练一些之前所无法训练的网络。研究者使用 ReZero 乐成训练了具有一万层的全毗邻网络，首次训练了跨越 100 层的 Tansformer 而且没有使用学习速率热身和 LayerNorm 这些奇技淫巧。

2. 更快的收敛速率

与带有标准化操作的通例残差网络相比，ReZero 的收敛速率显著更快。当 ReZero 应用于 Transformer 时，在 enwiki8 语言建模基准上，其收敛速率比一样平常的 Transformer 快 56%，到达 1.2BPB。当 ReZero 应用于 ResNet，在 CIFAR 10 上可实现 32% 的加速和 85% 的精度。

ReZero (residual with zero initialization)

ReZero 对深度残差网络的结构举行了简朴的更改，可促进动态等距（dynamical isometry）并实现对极深网络的有用训练。研究者在初始阶段没有使用那些非通俗函数 F[W_i] 通报信号，而是添加了一个残差毗邻并通过初始为零的 L 个可学习参数α_i（作者称其为残差权重）来重新缩放该函数。现在，信号凭据以下方式举行通报：

在初始阶段，该网络示意为恒等函数而且普遍知足动态等距关系。在该架构修改中，纵然某一层的 Jacobian 值消逝，也可以训练深度网络（正如 ReLU 激活函数或自注重力机制泛起这样的状态）。这一手艺还可以在现有的已训练网络上添加新层。

实验效果

更快的深层全毗邻网络训练

图 3 展示了训练损失的演变历程。在一个简朴实验中，一个使用了 ReZero 的 32 层网络，拟合训练数据的收敛速率相比其他手艺快了 7 到 15 倍。值得注重的是，与通例的全毗邻网络相比，残差毗邻在没有分外的标准化层时会降低收敛速率。这可能是由于初始化阶段信号的方差并不独立于网络深度。

随着深度的增添，ReZero 架构的优势加倍显著。为了验证该架构可用于深度网络训练，研究者在一台配备 GPU 的笔记本电脑上乐成训练了多达 1 万层的全毗邻 ReZero 网络，使其在训练数据集上过拟合。

图 3：256 宽度和 ReLU 激活的 32 层全毗邻网络四种变体，在训练历程中的交织熵损失。

更快的深层 Transformer 训练

研究者提出，通例的 Transformer 会抑制深层信号通报，他们在输入序列 x 的 n x d 个 entry 的无穷小转变下评估其转变，获得注重力处置的输入-输出 Jacobian，从而验证了之前的看法。

图 5a 展示了差别深度中使用 Xavier 统一初始化权重的 Transformer 编码层的输入-输出 Jacobian 值。浅层的 Transformer 显示出峰值在零点四周的单峰漫衍，可以发现，深层结构中 Jacobian 泛起了大量超出盘算精度的峰值。虽然这些漫衍取决于差别初始化方式，但以上量化的结论在很大范围内是建立的。这些效果与普遍认为的相一致，也就是深层 Transformer 很难训练。

图 5：多个输入-输出 Jacobian 矩阵中对数奇异值λ_io 的直方图。（a）层数分别为 4、12、64 层的 Transformer 编码器网络；（b）是 64 层时训练前和训练中的 ReZero Transformer 编码器网络。深层 Transformer 距离动态等距很远，即λ_io 1，而 ReZero Transformer 更靠近动态等距，平均奇异值 λ_io ≈ 1。

能够在多项 NLP 义务中实现 SOTA 的 Transformer 模子通常是小于 24 层的，这项研究中，最深层模子最多使用了 78 层，而且需要 256 个 GPU 来训练。研究者又将这一模子扩展至数百个 Transformer 层，而且仍然可以在台式机上训练。为了检查该方式是否可以扩展至更深层的 Transformer 模子之上，研究者将 ReZero Transformer 拓展到了 64 及 128 层，并与通俗 Transformer 举行了对比。

效果显示，收敛之后，12 层的 ReZero Transformer 与通例的 Transformer 取得了相同的 BPB。也就是说，用 ReZero 来替换 LayerNorm 不会失去任何模子显示。训练通俗的 Transformer 模子会导致收敛难题或训练缓慢。当到达 64 层时，通俗的 Transformer 模子纵然用了 warm-up 也无法收敛。ReZero Transformer 在α初始化为 1 时发散，从而支持了α = 0 的初始化理论。深层的 ReZero Transformer 比浅层的 Transformer 显示出了更优越的性能。

表 3：在 enwiki8 测试集上的 Transformers (TX) 对比。

收敛速率对照

选择 enwiki8 上的语言建模作为基准，由于较难的语言模子是 NLP 义务性能的优越指标。在实验中，其目的是通过丈量 12 层的 Transformer 在 enwiki8 上到达 1.2 位每字节（BPB）所需的迭代次数，由此来权衡所提出的每种方式的收敛速率。

表二：针对 ReZero 的 12 层 Transformers 归一化后与 enwiki8 验证集上到达 1.2 BPB 时所需的训练迭代对照。

更快的残差网络训练

通过前述部门，看到了 ReZero 的毗邻是若何使深层网络的训练成为可能的，而且这些深层网络都包罗会消逝的 Jacobian 奇异值，例如 ReLU 激活或自我注重力。然则，若是没有 ReZero 的毗邻或者是其他架构的更改，其中某些架构将无法执行训练。在本节中，会将 ReZero 毗邻应用于深层残差网络从而举行图像识别。

虽然这些网络并不需要 ReZero 毗邻便可以举行训练，但通过考察发现，在 CIFAR-10 数据集上训练的 ResNet56 model4（最多 200 个 epochs）的验证误差获得了异常显著的提升：从（7.37±0.06）％到（6.46±0.05）％。这一效果是将模子中的所有残差毗邻转换为 ReZero 毗邻之后获得的。在实行 ReZero 之后，验证误差降低到 15％以下的次数也减少了（32±14）％。只管现在这些效果只提供了有限的信息，但它们仍指出了 ReZero 毗邻拥有更普遍的适用性，从而也推进了进一步的研究。

上手实操

项目地址：

https://github.com/majumderb/rezero

在此提供了自定义的 ReZero Transformer 层（RZTX），好比以下操作将会建立一个 Transformer 编码器：

建立一个 Transformer 解码器：

注重确保 norm 参数保留为 None，以免在 Transformer 中用到 LayerNorm。

本文为机械之心编译，转载请联系本民众号获得授权。

------------------------------------------------