具有生物启发训练方法的物理深度学习：物理硬件的无梯度方法

　　编辑 | 绿萝

　　对人工智能不断增长的需求推动了对基于物理设备的非常规计算的研究。虽然此类计算设备模仿了大脑启发的模拟信息处理，但学习过程仍然依赖于为数字处理优化的方法，例如反向传播，这不适合物理实现。

　　在这里，来自日本 NTT 设备技术实验室（NTT Device Technology Labs）和东京大学的研究团队通过扩展一种称为直接反馈对齐（DFA）的受生物学启发的训练算法来展示物理深度学习。与原始算法不同，所提出的方法基于具有替代非线性激活的随机投影。因此，可以在不了解物理系统及其梯度的情况下训练物理神经网络。此外，可以在可扩展的物理硬件上模拟此训练的计算。

　　研究人员使用称为深储层计算机的光电递归神经网络演示了概念验证。证实了在基准测试中具有竞争性能的加速计算的潜力。研究结果为神经形态计算的训练和加速提供了实用的解决方案。

　　该研究以「Physical deep learning with biologically inspired training method: gradient-free approach for physical hardware」为题，于 2022 年 12 月 26 日发布在《Nature Communications》上。

　　

　　基于人工神经网络 (ANN) 的机器学习在图像处理、语音识别、游戏等方面的破纪录表现成功展示了其卓越的能力。尽管这些算法类似于人脑的工作方式，但它们基本上是使用传统的冯诺依曼计算硬件在软件层面上实现的。然而，这种基于数字计算的人工神经网络面临着能耗和处理速度方面的问题。这些问题促使使用替代物理平台实现人工神经网络。

　　有趣的是，即使是被动物理动力学也可以用作随机连接的 ANN 中的计算资源。该框架被称为物理储层计算机（RC）或极限学习机（ELM），其易于实现极大地扩展了可实现材料的选择及其应用范围。这种物理实现的神经网络 (PNN) 能够将特定任务的计算负载外包给物理系统。

　　构建更深层次的物理网络是进一步提高性能的一个有前途的方向，因为它们可以以指数方式扩展网络表达能力。这激发了使用各种物理平台的深度 PNN 的提议。他们的训练基本上依赖于一种称为反向传播（BP）的方法，该方法在基于软件的 ANN 中取得了巨大成功。但是，BP 在以下方面不适用于 PNN。首先，BP 操作的物理实现仍然复杂且不可扩展。其次，BP 需要对整个物理系统有准确的了解。此外，当我们将 BP 应用于 RC 时，这些要求破坏了物理 RC 的独特特性，即我们需要准确地了解和模拟黑盒物理随机网络。

　　与 PNN 中的 BP 一样，BP 在生物神经网络中的操作难度也被脑科学界指出；BP 在大脑中的合理性一直受到质疑。这些考虑促使开发了生物学上合理的训练算法。

　　近期一个有前途的方向是直接反馈对齐 (DFA)。在该算法中，采用最终输出层误差信号的固定随机线性变换来代替反向误差信号。因此，这种方法不需要误差信号的逐层传播或权重的知识。此外，据报道，DFA 可扩展到现代大型网络模型。这种以生物学为动机的训练的成功表明，有一种比 BP 更合适的方法来训练 PNN。然而，DFA 仍然需要非线性函数 f(x) 的导数 f'(a) 进行训练，这阻碍了 DFA 方法在物理系统中的应用。因此，DFA 的更大幅度扩展对于 PNN 应用很重要。

　　DFA 及其对物理深度学习的增强

　　在此，研究人员通过增强 DFA 算法来演示物理深度学习。在增强 DFA 中，用任意非线性 g(a) 替换标准 DFA 中物理非线性激活 f'(a) 的微分，并表明性能对 g(a) 的选择具有稳健性。由于这种增强，不再需要准确地模拟 f'(a)。由于所提出的方法基于具有任意非线性激活的并行随机投影，可以按照与物理 ELM 或 RC 概念相同的方式在物理系统上执行训练计算。这使得推理和训练的物理加速成为可能。

　　

　　图：PNN 的概念及其通过 BP 和增强 DFA 进行的训练。（来源：论文）

　　为了演示概念验证，研究人员构建了一个 FPGA 辅助的光电深度物理 RC 作为工作台。尽管 benchtop 简单易用，仅需软件级更新即可应用于各种物理平台，但实现了可与大型复杂的最先进系统相媲美的性能。

　　

　　图：具有增强 DFA 训练的光电深度 RC 系统。（来源：论文）

　　此外，还比较了整个处理时间，包括数字处理的时间，发现了训练过程物理加速的可能性。

　　

　　图：光电深 RC 系统的性能。（来源：论文）

　　RC 工作台的处理时间预算细分如下：FPGA 处理（数据传输、内存分配和 DAC/ADC）约为 92%；约 8% 的数字处理用于预处理/后处理。因此，在当前阶段，处理时间主要由 FPGA 和 CPU 上的数字计算决定。这是因为光电工作台仅使用一条非线性延迟线实现了一个储层；这些限制可以通过在未来使用完全并行和全光计算硬件来放宽。可以看出，CPU 和 GPU 上的计算针对节点数显示了 O(N^2) 趋势，而 benchtop 显示了 O(N)，这是由于数据传输瓶颈造成的。

　　对于 BP 和增强 DFA 算法，CPU 之外的物理加速度分别在 N ~5,000 和 ~12,000 处被观察到。然而，就计算速度而言，由于 GPU 的内存限制，尚未直接观察到针对 GPU 的有效性。通过推断 GPU 趋势，可以在 N ~80,000 时观察到超过 GPU 的物理加速。据我们所知，这是对整个训练过程的首次比较，也是首次使用 PNN 进行体能训练加速演示。

　　为了研究所提方法对其他系统的适用性，使用广泛研究的光子神经网络进行了数值模拟。此外，实验证明的基于延迟的 RC 被证明非常适合各种物理系统。关于物理系统的可扩展性，构建深度网络的主要问题是其固有噪声。通过数值模拟研究了噪声的影响。发现该系统对噪声具有稳健性。

　　所提出方法的可扩展性和局限性

　　在这里，考虑了基于 DFA 的方法对更现代模型的可扩展性。实际深度学习最常用的模型之一是深度连接的卷积神经网络 (CNN)。然而，据报道，DFA 算法很难应用于标准 CNN。因此，所提出的方法可能难以以简单的方式应用于卷积 PNN。

　　考虑到模拟硬件实现，对 SNN 的适用性也是一个重要主题。已经报道了基于 DFA 的训练对 SNN 的适用性，这意味着该研究所提出的增强 DFA 可以使训练更容易。

　　虽然基于 DFA 的算法有可能扩展到比简单的 MLP 或 RC 更实用的模型，但将基于 DFA 的训练应用于此类网络的有效性仍然未知。在这里，作为这项研究的额外工作，研究了基于 DFA 的训练（DFA 本身和增强的 DFA）对上述模型（MLP-Mixer、Vision transformer (ViT)、ResNet 和 SNN）的可扩展性。研究发现基于 DFA 的训练即使对于探索的实用模型也是有效的。虽然基于 DFA 的训练可达到的准确度基本上低于 BP 训练，但对模型和/或算法进行一些调整可以提高性能。值得注意的是，对于所有探索的实验设置，DFA 和增强 DFA 的准确性都具有可比性，这表明 DFA 本身的进一步改进将直接有助于改进增强 DFA。结果表明，该方法可扩展到未来对 PNN 的实用模型的实现，而不仅仅是简单的 MLP 或 RC 模型。

　　表 1：增强 DFA 对实际网络模型的适用性。（来源：论文）

　　

　　物理硬件中的 BP 与 DFA

　　一般来说，BP 在物理硬件上实现起来非常困难，因为它需要计算图中的所有信息。因此，物理硬件的训练一直是通过计算模拟来完成的，这会产生大量的计算成本。此外，模型与实际系统之间的差异导致精度下降。相反，增强的 DFA 不需要关于物理系统的准确先验知识。因此，在深度 PNN 中，基于 DFA 的方法在准确性方面比基于 BP 的方法更有效。此外，可以使用物理硬件加速计算。

　　此外，DFA 训练不需要逐层计算的顺序误差传播，这意味着每一层的训练可以并行执行。因此，更优化和并行的 DFA 实现可能会带来更显着的加速。这些独特的特征表明基于 DFA 的方法的有效性，特别是对于基于物理硬件的神经网络。另一方面，增强 DFA 训练的模型的准确性仍然不如 BP 训练的模型。进一步提高基于 DFA 的训练的准确性仍然是未来的工作。

　　进一步的物理加速

　　物理实现证实了具有大节点（large-node）数的 RC 循环处理的加速。但是，它的优势仍然有限，需要进一步改进。当前原型的处理时间表示为 FPGA 的数据传输和内存分配。因此，将所有过程集成到 FPGA 中将大大提高性能，但会牺牲实验灵活性。此外，将来，机载光学方法将大大降低传输成本。大规模光集成和片上集成将进一步提升光计算本身的性能。

　　论文链接：

　　https://www.nature.com/articles/s41467-022-35216-2