深度学习近些年来迅猛发展，在人工智能领域显现出了强大的威力。然而这一切是有代价的。为了完成日益复杂的AI任务，神经网络模型体量暴增，对服务器的储存和算力要求也水涨船高，由此产生的经济成本、耗费的电量、对环境的污染正在困扰着这个行业。

人工智能的这场游戏正变得越来越“笨拙”，也越来越奢侈。于是，轻量化人工智能（Tiny AI）被寄予厚望，通过对人工智能模型及其计算载体的“瘦身”，提升效率、降低能耗。2020年，《麻省理工科技评论》将“Tiny AI”列为“全球十大突破性技术”。

中国科学院自动化研究所（以下简称自动化所）是国际上最早开展人工智能轻量化设计的机构之一。“十三五”期间，自动化所研究团队在“AI芯片—平台—算法”全栈轻量化AI技术中取得了一系列成果，成为新一代人工智能的“先行者”。

降低AI应用门槛

2014年左右，自动化所研究员、主要从事图像和视频内容分析的程健敏锐意识到一个潜在问题，在利用日益活跃的神经网络模型进行图像与视频的智能识别、搜索时，他感受到了一种前所未有的“慢”。

识别和搜索是一项对速度、效率要求非常高的任务，但随着神经网络模型的体型越来越大、参数越来越多、计算越来越复杂，必须依靠专门的服务器或者连接云端才能运行模型，它是以牺牲效率为代价的。

自动化所研究员张一帆表示，这也给人工智能的应用普及抬高了门槛。由于与人们日常生活息息相关的一些低配置、低成本的终端平台，根本无法支撑起庞大的神经网络模型的运行，因此很难实现AI赋能。

尽管模型越大意味着性能越强，但程健想到，也许应该换一种思路，在确保精度接近无损的前提下，给人工智能模型及其计算载体进行“瘦身”，比如减少计算量，降低模型复杂度等等，从而提升终端运行的效率，尽管这是一个极具挑战性的任务。

2015年，程健带领团队进行了第一次尝试，把原先无法在手机端上搭载的庞大的深度卷积神经网络VGG，压缩了20多倍，使之第一次在手机上完成了快速运行。借助经过轻量化“加工”的神经网络模型，研究人员加载了一个图像分类识别的应用，当时智能化的程度还较低的手机就已经可以实现对日常生活中的1000多类物体的快速识别，而不需要依靠云端计算。

这次尝试的成功，让程健相信，轻量化人工智能这条路不仅走得通，而且很有可能成为未来人工智能发展的主干道。因为，它可以使人工智能应用的门槛大大降低，使之成为普惠民生的智能生态。

在此之后，自动化所研究团队在国际AI顶会发表了多篇神经网络模型轻量化领域的重要论文，成为国际上最早开始AI轻量化研究的机构之一。“选择这个方向，既是问题驱动的，也是社会需求推动的。”程健表示。

软硬件协同设计

轻量化人工智能是以一系列轻量化技术为驱动提高算法、平台和芯片的效率，在更紧密的物理空间上实现低功耗的人工智能训练和应用部署，不需要依赖与云端交互就能实现智能化操作，被视为人工智能的重要应用方向。自动化所团队在“十三五”期间，分别从软件和硬件两方面进行攻关。

自动化所副研究员王培松介绍，研究团队首先从最上层的算法入手，提出了一系列诸如稀疏表示、量化计算等技术手段，把神经网络的计算复杂度以及存储复杂度大大降低。

但很快问题也随之而来。“我们发现，要使推理和算法从云端迁移到终端成为可能，却没有一个合适的工具或者框架提供支撑，必须在移动端或在设备端定制一个推理框架。”自动化所胡庆浩博士提到，研究团队用一年半时间自主设计开发出了一个轻量化AI平台QEngine。

而后，把模型设计的轻量化，辅以合适的平台提供支持，但运行速度依然达不到指标，这才让团队下定决心从底层硬件寻求突破。AI芯片作为人工智能的硬件载体，要能达到更高的性能、更高的效率、更低的功耗和更小的体积，最大化发掘硬件的能力。

让王培松信心倍增的是，2019年，在国际神经信息处理系统大会（NeurIPS）上举行的MicroNet Challenge竞赛中，团队与华盛顿大学、加州大学、日本京都大学，还有ARM、IBM、高通、Xilinx等国际一流的高校、芯片公司同场竞技，设计的轻量化神经网络架构在NeurIPS 2019的神经网络压缩与加速竞赛（MicroNet Challenge）获得了图像类赛道双料冠军。就在2020年，自动化所自主研发的极低比特量化神经处理芯片（QNPU）也成功流片。

新一代人工智能逐浪者

目前，自动化所软硬协同轻量化的技术研究一直走在国际前列。轻量化AI平台QEngine及轻量化算法已经在数十万终端上部署。国家电网、华为、步步高、OPPO等企业的很多产品都应用了自动化所的轻量化人工智能技术。

比如，基于轻量化人工智能研制的自主巡检无人机、缺陷识别分析便携终端、通道可视化智能感知摄像头等，具备多种智能识别、检测和分析功能，可有效保障输配电线路的安全和电力系统稳定；在消费电子行业，轻量化的算法及轻量化神经网络计算架构可有效实现暗光增强、超分辨率等，为手机终端、安防终端提供了影像增强效果；在教育终端的人机互动领域，“轻量化指尖点读解决方案”赋予了低端硬件平台高端AI算力……

程健表示，轻量化人工智能一直默默地在满足我们日常生活当中很多人工智能的应用需求，但远远没有走到头。特别是在计算性能极弱的单片机，以及在各种空调、冰箱等家电中算力较弱的计算芯片上，去实现比较复杂的人工智能任务还任重道远。除此之外，目前轻量化人工智能基于的软件和硬件平台，大多还是针对大模型、云端开发来研究的。未来要能最大化实现极致效率，还要进一步完善软硬件的协同设计。

博士阶段就跟着程健初涉轻量化人工智能领域的王培松和胡庆浩是与这一前沿领域共同成长起来的，目前已经是团队的核心成员。“能赶上新一代人工智能的历史潮流，并勇立潮头，对我们年轻科研人员来说是一件很幸运且自豪的事。”

胡庆浩也坦言，新一代人工智能的角逐正面临着激烈的国际竞争，特别是在轻量化算法设计和AI芯片领域，谁能突出重围，谜底有待揭晓。

自动化所自主研发的极低比特量化神经处理芯片（QNPU）  丁典摄