导读

面向智能制造中多类型混合场景高精度动态三维测量需求，基于“点对点”成像机制的传统结构光测量技术存在复杂光照成分无法分离、光传输矩阵无法高效重建的固有问题，阻碍了复杂场景的动态三维面形重建。

为了突破上述限制，四川大学电子信息学院张启灿教授和吴周杰副研究员的研究团队提出了基于多尺度并行单像素成像的动态三维测量技术，完成了对复杂光照成分的高效表征与精准分离，实现了复杂反射和传输条件下的动态三维成像。

该成果以“Dynamic 3D shape reconstruction under complex reflection and transmission conditions using multi-scale parallel single-pixel imaging”为题发表于Light: Advanced Manufacturing。四川大学吴周杰副研究员为论文第一作者，张启灿教授为论文通讯作者。

图1：全局照明下的动态三维成像艺术效果图

全局照明下的三维成像

第四次工业革命的到来促使以劳动力和资源密集为特征的传统制造业向以新一代数字化、信息化技术为支撑的智能制造业进行转型，三维测量技术作为“工业之眼”，能为高端精密制造业提供完整全面、准确可靠的三维信息。以结构光投影测量为代表的光学测量方法已经在工业检测、智能装配、先进制造以及物料分拣等方面得到了广泛的应用。但此类方法基于三角测量原理实现三维重建，需要遵循传统几何光学中“点到点”的物像关系，因此只能适用于满足单次直接反射条件（直接光照成分）场景的测量。

随着制造加工手段的不断发展以及智能应用场景的持续增加，测量的任务需求也逐渐从单一简单场景的静态三维测量转移到复杂混合场景的高精度动态测量当中。一方面，在工业检测以及智能装配中，会面临多反射类型表面的测量，例如金属表面或者镜面的面内互反射会造成多路径间接照明，含有玉石、冰、皮肤以及蜡制品等的混合表面中的次表面散射会造成亚表面散射间接照明。另一方面，在先进制造以及物料分拣中，需要透过复杂传输介质进行动态三维测量，例如金属增材3D打印中透过粉尘进行成形状态实时监测会面临体散射间接照明、物料分拣中对半透明表面内部物体进行快速判别分类会面临多路径直接照明，如图2所示。上述所有异常照明条件被统称为全局照明。

图2：多类型混合场景下的复杂反射、传输条件

全局照明下的光线传播路径打破了传统成像中需要遵循的“点到点”一次反射条件，传统三维测量方法的直接使用会因为深度编码信息混叠或丢失致使其失效，极大地限制了现有测量方法的适用场景。

多尺度并行单像素成像

为了突破测量场景类型限制，研究团队将相机每个像素看作是一个单像素成像器件，利用所提基于深度约束的双切片投影策略结合单像素重建算法，建立了广义光传输系数的数学模型，完成了对复杂光照成分的降维表征与分离，如图3(a)所示。同时，团队发现并证明了直接光照成分具有位置不变性，基于此性质，提出了多尺度并行单像素重构算法，打破了光照成分必须位于局部区域的假设限制，使得光照成分的动态表征成为了可能，如图3(b)所示。利用所提方法，可将一次求解光传输系数所需投影的结构光图案从上万幅降低至15幅，以333帧每秒的重构速率，完成了对传输条件和反射条件实时变化的动态场景的快速、高精度三维成像。

图3：(a) 基于双切片深度约束的直接光照成分定位；(b)基于位置不变定理的多尺度并行单像素成像

技术应用场景

研究成果突破了现有技术测量场景类型受限的固有问题，实现了对多类型反射表面（高动态范围、互反射、次表面散射）以及穿透复杂传输介质（散射介质、多层半透明表面）的动态三维成像，如图4所示，迎合了先进制造在线加工检测、自动驾驶三维传感等领域复杂环境下的动态三维重建应用需求。

图4：典型技术应用场景

动态测量结果如图5-7所示。

图5：高动态范围场景动态三维成像

图6：透过薄散射介质动态三维成像

图7：透过半透明表面双层动态三维成像

展望

研究成果可解决复杂反射和传输条件下的动态三维成像问题，将有望在诸如高精度表面贴装缺陷检测（互反射）、生物活体组织测量（次表面散射）、飞机结冰试验（混合反射）、增材制造在线面形监测（透过散射介质三维成像）、流水线物料分拣（多层半透明表面三维成像）等复杂环境下的动态快速三维形貌测量中得到推广应用。（来源：先进制造微信公众号）

相关论文信息：https://doi.org/10.37188/lam.2024.034