近日，中国科学院半导体研究所集成光电子学国家重点实验室微波光电子课题组李明研究员-祝宁华院士团队研制出一款超高集成度光学卷积处理器。相关研究成果以Compact optical convolution processing unit based on multimode interference为题，发表在《自然—通讯》上。

卷积神经网络是一种受生物视觉神经系统启发而发展起来的人工神经网络。它由多层卷积层、池化层和全连接层组成。作为卷积神经网络的核心组成部分，卷积层通过对输入数据进行局部感知和权值共享，提取出不同层次和抽象程度的特征。在一个完整的卷积神经网络中，卷积运算的运算量通常占整个网络运算量的80%以上。虽然卷积神经网络在图像识别等领域取得了成功，但也面临挑战。传统的卷积神经网络主要基于冯·诺依曼架构的电学硬件实现，存储单元和处理单元是分立的，导致数据交换速度和能耗之间的固有矛盾。随着数据量和网络复杂度的增加，电子计算方案越来越难以满足海量数据实时处理对高速、低能耗的计算硬件的需求。

光计算是一种利用光波作为载体进行信息处理的技术，具有大带宽、低延时、低功耗等优点，提供了一种“传输即计算，结构即功能”的计算架构，有望避免冯·诺依曼计算范式中存在的数据潮汐传输问题。光计算近年来备受关注，但在大部分已报道的光计算方案中，光学元件的数量随着计算矩阵的规模呈二次增长趋势，这使得光计算芯片规模扩展面临挑战。

李明-祝宁华团队提出的光学卷积处理单元通过两个4×4多模干涉耦合器和四个移相器构造了三个2×2相关的实值卷积核（图1）。该团队创新性地将波分复用技术结合光的多模干涉，以波长表征Kernel元素，输入到输出的映射实现了卷积中的乘法运算过程，波分复用和光电转换实现了卷积中的加法运算，通过调节四个热调移相器实现了相关卷积核重构（图2）。

该团队提出的光学卷积处理单元实验验证了手写数字图像特征提取和分类能力。结果表明，图像特征提取精度达到5 bit；对来自MNIST手写数字数据库的手写数字进行十分类，准确率达92.17%。与其他光计算方案相比，该方案具有如下优点：（1）高算力密度：将光波分复用技术与光多模干涉技术相结合，采用4个调控单元实现3个2×2实值Kernel并行运算，算力密度达到12.74-T MACs/s/mm²。（2）线性扩展性：调控单元数量随着矩阵规模线性增长，具有很强的大规模集成的潜力。

研究工作得到国家自然科学基金和中国科学院青年创新促进会的支持。（来源：中国科学院半导体研究所）

图1.光学卷积处理单元

图2.使用光学卷积处理单元进行图像特征提取的结果。（a）输入的五个手写数字的图片；（b）使用计算机进行特征提取的结果；（c）使用提出的光学卷积处理单元进行特征的结果。

相关论文信息：https://doi.org/10.1038/s41467-023-38786-x