导读

光学神经网络（Optical Neural Networks, ONNs）是一种利用光学器件（激光、光学调制器、滤波器、探测器等）来模拟和实现神经网络推理功能的计算模型。与电子神经网络相比，ONNs通过利用光的特征量（振幅、相位、频率等）进行信号传输和数据处理，将神经网络的推理计算过程在光的传播过程中完成，具有低延迟、低能耗、并行信号处理以及抗电磁干扰强等优势。

近日，国防科技大学纳米光电子技术团队与清华大学陈宏伟教授团队以“Optical neural networks: progress and challenges”为题在Light: Science & Applications发表了一篇综述文章。国防科技大学符庭钊副研究员为论文的第一作者，清华大学陈宏伟教授为论文的通讯作者。该工作得到了国家自然科学基金项目的支持。

该综述首先介绍了ONNs的发展历史、光学人工神经元的数学模型以及基于不同光学元器件构建ONNs的区别。其次，系统地回顾了近几年来非集成/集成ONNs的典型研究工作。最后，对不同类型ONNs在计算容量、集成度、可重构性、非线性、可拓展性以及通用性等方面的性能进行了对比和分析，并讨论了各类型ONNs在未来发展中可能面临的挑战。在讨论部分，该综述对现阶段国内外关于光计算公司的发展情况进行了介绍，同时对ONNs未来发展的新架构和应用领域进行了展望。

一、光学神经网络的发展与挑战

关于ONNs的相关研究工作，早在1960s就已经开始，为了能够较清晰地展示ONNs的发展历程，该综述在文章开端以时间为轴线展示了ONNs相关研究工作的发展脉络，时间跨度为20世纪60年代至今，如图1所示。

图1：光学神经网络相关研究工作的时间线节点

本综述基于自由空间和片上集成将ONNs归纳为非集成ONNs和集成ONNs两大类型，进一步基于自由空间和片上集成中的不同光学元器件将ONNs细分为7种类型，如图2所示。这些不同类型ONNs的研究工作相互之间是存在联系的。例如，基于4f系统设计的ONNs，其计算单元通常设计在焦平面处的掩模板（Mask）上，此时计算单元的数量规模拓展受限。与之不同，自由空间衍射光学神经网络（Diffractive Optical Neural Networks, DONNs）由于其计算单元可以在每个隐藏层上自由设计，因此其计算单元的规模很大，计算容量也很高，从而较好地解决了基于4f系统设计的ONNs计算容量难以进一步提升的难题。另外，由于空间光调制器（Spatial Light Modulator, SLM)、数字微镜设备（Digital Micromirror Devices, DMD）以及信息超表面等可调谐光学元器件的引入，使得自由空间DONNs具备了可重构功能，能够实现不同架构ONNs的功能。然而，由于自由空间DONNs的输入层、隐藏层以及输出层之间的对准过程会产生额外的系统误差，且误差积累会导致DONNs的性能急剧恶化。同时，自由空间DONNs由分立衍射元器件构成，因此其集成度、稳定性和便携性等都有待优化。为了弥补自由空间DONNs的不足，片上集成DONNs的研究工作被陆续提出，该类型DONNs较好地解决了自由空间DONNs集成度低、稳定性和便携性差等问题。然而，由于片上集成DONNs的计算单元由亚波长结构组成，导致其计算单元的可编程性十分困难，使得其可重构功能难以实现。因此，现阶段片上集成DONNs的可重构难题还有待进一步解决。

图2：基于不同光学元器件设计的ONNs

此外，基于其他自由空间光学元器件设计的ONNs同样存在集成度低、稳定性和便携性差等问题。基于此，研究者们利用片上集成的方法解决了部分问题，如基于马赫曾德尔干涉仪（Mach–Zehnder Interferometer, MZI）、微环谐振器（Micro-ring Resonators, MRR）等片上集成光学元器件设计的ONNs，其集成度得到了提升，同时获得了较好的稳定性和便携性。然而，由于这些片上集成光学元器件在ONNs工作过程中需要持续的能量输入，且在计算单元大规模拓展的情况下相邻计算单元间存在热串扰问题，导致片上集成ONNs的工作性能难以保证。为了解决计算单元的能耗和热串扰问题，研究者们引入了相变材料（Phase Change Material, PCM）。由于PCM具有非易失性和可编程性，因此利用PCM来设计片上计算单元，不仅能够支持片上集成ONNs以全光的形式完成推理过程，而且可以赋予其可重构功能。除此之外，PCM的引入还能够使ONNs在光域上实现非线性功能，进一步提高其推理能力。尽管PCM能够给片上集成ONNs带来诸多好处，然而现阶段关于可编程、非线性等功能的实现规模均很小。未来，在片上集成ONNs计算单元大规模拓展的情况下，将不得不考虑PCM的插入损耗，因为这将直接影响ONNs系统的实现可行性。本综述在文中相应位置对各个不同类型ONNs的优劣进行了分析和讨论，同时对其未来发展方向进行了展望。

虽然现阶段ONNs的发展依然面临诸多困难，但是在技术层面上已经取得了成功。同时，学术界的科学研究也正在尝试朝着实用化方向发展，如普林斯顿大学研究团队将片上集成ONNs应用于海底光纤链路的非线性补偿。剑桥大学研究团队基于光子深度学习开发了边缘计算架构，该架构下的计算效率超越了电子计算硬件。除了学术界的努力，产业界（如Lightmatter、Lightelligence等公司）也在光计算方面做出了实践性探索。

二、光学神经网络的未来发展趋势

利用光进行信号处理或计算的相关研究可以追溯到20世纪60年代，然而ONNs的快速发展在最近几年才开始。其原因是人工智能在近些年的应用越来越广泛，各行各业对于算力的需求与日俱增，现代电子计算硬件将难以满足社会发展的算力需求。未来急需找到一种新的计算范式来提供更强的算力支撑。ONNs是一种新的计算范式，其相比于现代计算硬件而言，拥有诸多优势。然而，目前ONNs的工作过程还离不开电子计算硬件的辅助，而且ONNs在光域上实现非线性功能也非常困难。因此，短期内如果要将ONNs推向真正的应用场景中，光电混合ONNs系统也许是比较可行的方案。图3是光电混合ONNs系统架构，包括原理层、光计算层、电子电路辅助层和应用层。光电混合ONNs系统的定位是由ONNs完成整个系统的绝大多数算力任务，而电子计算硬件是完成计算消耗较小的部分，如路由、存储及非线性功能等。值得注意的是，光电混合ONNs系统中，光电转换部分的能耗和速度对于整个系统的性能而言也极其重要，未来研究过程中应尽可能减小每一次光/电（电/光）转换的能量消耗，同时尽可能地提高其转换速度。

图3：光电混合ONNs系统框架示意图

三、光学神经网络的应用与展望

事实上，现阶段ONNs在现实场景中的应用尚未成熟，主要研究工作还停留在实验室阶段。根据本综述对20世纪60年代以来ONNs相关研究工作的总结和分析，不难发现ONNs现阶段主要在存储、非线性以及大规模可重构等方面仍然存在技术瓶颈。因此，短期内ONNs的应用场景会集中在某些专用领域，如图4所示。即使如此，可能需要相当长的一段时间来持续优化ONNs系统架构或光电混合框架以获得更好的性能，从而使ONNs在某些专用领域获得比电子计算硬件更好的表现。在此期间，学术界和产业界应全面考虑ONNs的生态系统建设，包括软件、硬件、协议、光学算法、行业标准、制造技术和应用场景等诸多方面。（来源：中国光学微信公众号）

图4：未来ONNs系统可能应用的领域

相关论文信息：https://doi.org/10.1038/s41377-024-01590-3