论文标题：Perspectives on benchmarking foundation models for network biology

期刊：Quantitative Biology

作者：Christina V. Theodoris

发表时间：11 July 2024

DOI：https://doi.org/10.1002/qub2.68

微信链接：点击此处阅读微信文章

转移学习方法通过大规模通用数据集的预训练，赋予了模型深厚的领域知识，并能成功迁移至广泛的下游任务中，显著提升预测能力。这种方法已经彻底改变了自然语言处理和计算机视觉等研究领域。近期，生物学研究领域中也开始广泛采用转移学习方法，通过预训练模型对生物学数据进行深入分析。这些转移学习方法还可以在数据量有限的情况下，对下游实验展示出很强的预测能力。

然而，与自然语言和视觉图像的大数据不同，生物学数据面临着大量的未知因素，并且生物学研究还必须遵守现实世界中的物理性约束。鉴于此，QB编辑部特邀Geneformer模型的开发者，美国加州大学旧金山分校的Christina V. Theodoris教授撰写了一篇“Perspectives on benchmarking foundation models for network biology”的文章。作者特别强调了在构建网络生物学基础模型的基准测试框架中需要考虑的关键要素。这些要素不仅适用于网络生物学研究，也适用于更广泛的其他生物学模型的开发。

全文概要

转移学习方法彻底改变了包括自然语言理解和计算机视觉在内的广泛的信息领域研究方法。最近，在生物学研究领域中采用转移学习方法的趋势也在增加，并且多个研究结果表明，在生物数据有限的情况下，该方法对下游实验也有较强的预测能力。随着越来越多的基于转移学习方法来模拟生物系统的大模型被开发出来后，对这些模型进行基准测试就显得尤为重要。

基准测试是指在一系列标准化任务上评估不同模型的性能，实现模型间的直接比较。它不仅是模型比较的工具，更是引导建模方法深入理解复杂生物学现象的重要途径。

本文作者特别强调了在构建网络生物学基础模型基准测试框架时需要考虑的关键要素。这些要素不仅适用于网络生物学，也适用于更广泛的其他生物学模型的开发。

关键点一：基准测试应针对具有生物学意义的任务。研究者需深入考虑所采用的“真实情况”标准是如何建立的，并确保模型具备泛化能力，同时要设计出足够的具有挑战性的任务进行基准测试。

关键点二：评估模型性能应涵盖多样化任务，以确保模型能够生成对现实世界具有生物学意义的知识。这要求标准化超参数调整过程，并采用独立的数据集进行训练、验证和测试，以优化并确认模型的泛化能力。

关键点三：基准测试应展示模型促进新发现的能力。这要求开发一些文献之外的通用数据集，用以评估下游任务和实验预测结果的生物学真实性。

遵循这些原则，可以设计出多样化且具有生物学意义的基准测试任务。这不仅促进我们对复杂生物学现象的理解，而且通过实验室间的合作生成一些推动模型发展的生物学数据。通过开发闭环方法，可以在计算和实验领域实现同步创新。

随着网络生物学中每个模型的独特应用，我们可以确定最佳优化路径，快速发展模型架构和训练方法，以生成对生物系统有基本理解的模型，加速未来的科学发现。

QB期刊介绍

Quantitative Biology （QB）期刊是由清华大学、北京大学、高教出版社联合创办的全英文学术期刊。QB主要刊登生物信息学、计算生物学、系统生物学、理论生物学和合成生物学的最新研究成果和前沿进展，并为生命科学与计算机、数学、物理等交叉研究领域打造一个学术水平高、可读性强、具有全球影响力的交叉学科期刊品牌。

《前沿》系列英文学术期刊

由教育部主管、高等教育出版社主办的《前沿》（Frontiers）系列英文学术期刊，于2006年正式创刊，以网络版和印刷版向全球发行。系列期刊包括基础科学、生命科学、工程技术和人文社会科学四个主题，是我国覆盖学科最广泛的英文学术期刊群，其中12种被SCI收录，其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录，具有一定的国际学术影响力。系列期刊采用在线优先出版方式，保证文章以最快速度发表。

中国学术前沿期刊网

http://journal.hep.com.cn