导读

组织病理学是对标本进行显微成像，是病理诊断的常规工具。组织病理学和生命科学研究使用彩色染料或荧光标记进行组织化学染色，以可视化组织和细胞结构。特别是，苏木精和伊红 (H&E) 染色是组织病理学中显微镜组织检查的黄金标准。然而，传统的染色载玻片制备，既费力又容易出错，而随着需要病理检查的项目数量增加，必须制作额外的载玻片进行染色，但样本量不足可能会导致诊断不准确。为了解决这个问题，人们利用无标记成像和基于深度学习的组织学图像分析(HIA) 根据内在成像对比度突出肿瘤学特征。然而，传统的单模态技术在临床环境中仍然不足。

近日，韩国浦项科技大学（POSTECH）的Chiho Yoon等人提出了基于深度学习的自动化组织图像分析框架，可用于无标记光声组织学 (PAH) 中对人体标本进行自动虚拟染色、分割和分类。该框架由三个部分组成：(1) 用于虚拟 H&E (VHE) 染色的可解释对比非配对翻译 (E-CUT) 方法，(2) 用于特征分割的 U-net 架构，以及 (3) 用于分类的基于深度学习的逐步特征融合方法 (StepFF)。

该框架在应用于人类肝癌的每个步骤中都表现出色。在虚拟染色中，E-CUT 保留了细胞核和细胞质的形态特征，使 VHE 图像与真实 H&E 图像高度相似。在分割中，已成功分割出 VHE 图像中的各种特征（例如细胞面积、细胞数量和细胞核之间的距离）。最后，通过使用来自 PAH、VHE 和分割图像的深度特征向量，StepFF 实现了 98.00% 的分类准确率，而传统 PAH 分类的准确率为 94.80%。特别是，根据三位病理学家的评估，StepFF 的分类灵敏度达到 100%，证明了其在实际临床环境中的适用性。

该成果发表在《Light: Science & Applications》上，题为“Deep learning-based virtual staining, segmentation, and classification in label-free photoacoustic histology of human specimens”。浦项科技大学的Chiho Yoon为论文第一作者。

图1. 基于深度学习的自动化 HIA 框架，可对无标签 PAH 进行虚拟染色、分割和分类。

创新与亮点

PAH 图像可以揭示组织学特征，但它们也为病理学家提供了相对不太熟悉的图像，这可能会使诊断变得困难。

首先，作者提出了一种快速准确的虚拟染色方法 E-CUT，它结合了对比不成对的图像变换和可解释性。E-CUT 仅使用单个生成器和鉴别器即可最大化生成VHE图像和输入（PAH）灰度图像之间的互信息。此外，显着性损失和积分梯度提高了可解释性，在图像域之间的转换过程中提供了更好的相似性和可追溯性。E-CUT 可以学习准确的域映射，并且性能优于传统虚拟染色方法。

图2. 整体虚拟染色网络架构和结果。

其次，作者展示了用于形态特征提取的分割，它执行图像分割和特征提取以提取信息以供进一步分析。此分割分析提供了从 PAH、VHE 和 H&E 图像进行诊断的定量指标，包括细胞面积、细胞计数和细胞间距离等特征。VHE 中的分割显示出与 H&E 非常相似的癌性特征的明显分布。有趣的是，与 VHE 和 H&E 图像相反，在 PAH 中，非癌细胞面积往往大于癌细胞面积。由于它是使用公共 H&E进行训练的，因此分割模型不适用于其他样式，例如 PAH。对于细胞密度高的癌细胞，准确分割所有细胞核尤其具有挑战性。因此，癌症的 PAH 图像中测量的细胞面积往往小于实际细胞面积。出于类似的原因，癌性 PAH 图像中的细胞数量被低估，细胞间距离较大。

图3. 整体特征分割网络架构和结果。

对于最后的分类步骤，引入了一种基于 DL 的逐步特征融合方法 (StepFF) 多模态分类模型，结合使用 PAH、VHE 和分割深度特征向量 (DFV) 对非癌性和癌性肝细胞进行分类。获得了相较于传统 H&E 更好的性能。虽然信息稀缺限制了单模态 HIA 的分类性能，但通过整合每个步骤的 DFV，StepFF 实现了出色的分类性能。值得注意的是，排除五个不合适的图块后获得的 StepFF 分类结果对病理学家的评估显示出 100% 的灵敏度，表明 StepFF 在一般情况下表现非常出色。

图4. 总体分类网络架构和结果。

总结与展望

本文中提出了一种新颖、可解释、互联的基于深度学习的框架，用于无标记光声组织学图像的虚拟染色、分割和分类。这种互联方法可同时执行这三个任务并共享输出，从而提高诊断准确性、节省时间并减少样本消耗，可在临床应用的术中数字病理工作流程中实施。此外，多模态框架可推广到不同类型的癌症诊断，并适用于其他无标记成像模式的数字组织病理学，将作为主要的组织学诊断工具产生临床影响。

虽然所提出的框架将无标签图像转换为 H&E 风格并提供诊断建议，但仍需要改进以进行更好的分析。

1. 在虚拟染色阶段，额外使用分辨率增强网络可以提供更清晰的虚拟H&E 图像，从而通过区分 HCC 中的核异形性进行进一步诊断。

2. 在分割过程中，作者使用的是公共 H&E 数据集训练的分割模型，这限制了分割性能。

3. 此外，额外的迁移学习和数据增强可以解决结果偏差和性能限制。特别是，通过生成虚拟光声组织学图像，可以将公共 H&E 图像用作该方法的额外训练数据。（来源：LightScienceApplications微信公众号）

相关论文信息：https://doi.org/10.1038/s41377-024-01554-7