向电脑机器里上传一幅“有一只小熊玩偶和一堆积木”的图画，询问机器“积木在小熊的哪边？”机器快速做出回答：“积木在小熊的左边。”——这是预训练模型“文汇”的典型应用案例。

1月11日，北京智源人工智能研究院（以下简称“智源研究院”）发布面向认知的超大规模新型预训练模型“文汇”，旨在探索解决当前大规模自监督预训练模型不具有认知能力的问题。这一项目由智源研究院发起的“悟道”攻关团队完成，团队成员包括来自智源研究院、阿里巴巴、清华、中国人民大学、中科院、搜狗、智谱.AI、循环智能等单位的科研骨干。

“‘文汇’模型针对性地设计了多任务预训练的方法，可以同时学习‘文到文、图到文以及图文到文’等多项任务，实现对多个不同模态的概念理解。”智源研究院院长、北京大学信息技术学院教授黄铁军介绍说。

让机器理解自然语言

OpenAI，是一个由美国硅谷诸多科技公司负责人联合建立的人工智能非营利组织，其主要目标包括制造“通用”机器人和使用自然语言的聊天机器人等。

在现实世界里，人与人之间的交流用的就是自然语言。所谓自然语言，通常是指一种自然地随文化演化的语言，例如汉语、英语、日语等。

自然语言是人类智慧的结晶，也是人类交流和思维的主要工具。但要让机器也想人一样自由地用自然语言交流，却是非常困难的事。因为这要求机器能像人类一样认识现实世界，还要像人类一样学会思考。但显然目前的机器还无法做到这一点。

在人工智能发展的进程中，正遇到“自然语言处理”这只拦路虎。可以说，自然语言处理是人工智能中最为困难的问题之一。

人类的知识学习和知识积累，是一个复杂且长期的过程。一个人，从小孩阶段上学起始，一开始学习语文、数学、物理等知识，并通过游戏、生活等经历在脑子里不断积攒知识。当孩子长大学习计算机时，实际上他把以前学到的所有知识都带进去了。如果他以前没学过小学、中学的知识，让他突然学计算机，就不易懂计算机的问题。

受此启发，在人工智能自然语言处理方面，能否也先建立一个模型，这个模型就像一个已经“学完小学、中学知识的孩子”，这个孩子到大学里，无论学习计算机知识还是学习天文知识，就容易多了。这样的模型，就是“预训练模型”，能帮助科学家在人工智能领域更好地开展任务处理。

早2020年5月，OpenAI就发布了迄今为止全球规模最大的预训练模型GPT-3。从此，超大规模预训练模型就成为人工智能领域研究的热点。至2021年1月初，OpenAI又发布了DALL·E和CLIP两个大规模预训练模型，用于文本与图像链接处理。

智源研究院学术副院长、清华大学计算机系教授唐杰介绍，此次发布的“文汇”模型，与DALL·E和CLIP这两个预训练模型类似，参数规模达113亿，仅次于DALL·E模型的120亿参数量，是目前我国规模最大的预训练模型，且已实现与国际领先预训练技术的并跑。

破解机器常识认知难题

近年来，OpenAI、谷歌、脸书等国际IT公司，都在持续推动大规模预训练模型的快速发展。

但唐杰指出，虽然GPT-3模型在多项任务中表现出色，但它最大的问题是没有常识，不具有认知能力。

例如，向GPT-3模型提问第一个问题“长颈鹿有几个眼睛？”GPT-3回答是“两个眼睛”，再提问第二个问题“我的脚有几个眼睛？”GPT-3回答的结果也会是“两个眼睛”。

“这就不符合人类常识。”唐杰表示，GPT-3等超大型预训练模型在处理复杂的认知推理任务上，例如开放对话、基于知识的问答、可控文本生成等，结果仍然与人类智能有较大差距。

为推动研发我国自主的大规模预训练模型，解决目前国际主流模型存在的问题，2020年10月，智源研究院启动了新型超大规模预训练模型研发项目“悟道”。

黄铁军介绍，智源研究院是北京市成立的一个新型研发机构，旨在支持科学家勇闯人工智能科技前沿“无人区”，挑战最基础的问题和最关键的难题，推动人工智能理论、方法、工具、系统和应用取得变革性、颠覆性突破。

此次发布的面向认知的超大规模新型预训练模型“文汇”，是“悟道”项目的一期研发成果，用于自动生成图片、文字以及视频，可具有初级认知能力。智

黄铁军介绍，“文汇”模型针对性地设计了多任务预训练的方法，可以同时学习“文到文、图到文以及图文到文”等多项任务，实现对多个不同模态的概念理解。

“经过预训练的‘文汇’模型，不需要进行微调就可以完成‘用图生文’等任务，对模型进行微调，则可以灵活地接入如视觉问答、视觉推理等任务。”黄铁军介绍。

唐杰也表示，“文汇”模型不仅使用数据驱动的方法来建构预训练模型，还将用户行为、常识知识以及认知联系起来，主动“学习”与创造。本次发布的“文汇”模型可以实现“用图生文”等任务，具有一定的认知能力。

据介绍，目前OpenAI也在研发更大规模的预训练模型GPT-4参数。唐杰表示，可以预测到的是，未来的GPT-4参数又会增大至少10倍，而且处理的数据将会更加多模态，能够处理文字、图像、视觉、声音等。

可完成多种图文生成任务

据介绍，“文汇”作为面向认知的大规模预训练模型，项目研究组在研发过程中，提出了针对多模态认知生成的大规模预训练的架构。

对于上传的图像的处理，研究组进行了切块并对块提取特征。这些特征以及对应的位置编码，可以让图像和文本能组合在一起送入模型，从而实现对图像的理解。

唐杰介绍，“文汇”模型能够完成多种图文生成任务。

比如，给机器上传一张一位穿旗袍女子的照片，在阿里商品场景下，微调参数后模型将给出描述：“旗袍是一种古典的服饰，它不仅能够彰显出女性优雅、知性和美丽。这款旗袍采用了经典的圆领设计，穿着舒适自在；精致的刺绣工艺，展现出华贵而又大气之感……”

“文汇”模型也可以同时接受文本的提示和图像。例如给机器上传一张建筑图像，同时配上提示“走进平定县宋家庄村，映入眼帘的是”，“文汇”模型将给出：“一座座古色古香的明清建筑，这里有着浓厚的历史文化底蕴和独特的民俗风情。走进村子，就像走进了一个童话故事里的世外桃源……”

这些案例，显示了“文汇”模型在常识认知和“用图生文”方面的强大功能。

唐杰介绍，目前“文汇”已支持基于认知推理的多种自然语言及跨模态应用任务，部分应用即将与搜狗、阿里巴巴、学堂在线、智谱.AI、循环智能等机构合作上线。

据介绍，“文汇”模型已有四个样例应用可用于展示模型效果，包括基于上传图片的开放域问答、用语言操作数据可视化、基于预训练语言模型的诗词创作应用、可控人设的开放域问答等。

唐杰表示，目前“悟道”项目研究团队正在视觉等更广泛的范围内，对大规模自监督预训练方法开展探索研究，已经启动了四类大规模预训练模型研制，包括“文源”（以中文为核心的超大规模预训练语言模型）、“文汇”（面向认知的超大规模新型预训练模型）、“文澜”（超大规模多模态预训练模型）和“文溯”（超大规模蛋白质序列预训练模型）。

在2020年11月14日，智源研究院已发布了“文源”（以中文为核心的超大规模预训练语言模型）第一阶段26亿参数规模的中文语言模型。

黄铁军表示，下一步智源研究院将联合优势单位加快四类大规模预训练模型的研发进度，特别是“文汇”模型，未来将着力在多语言、多模态条件下，提升完成开放对话、基于知识的问答、可控文本生成等复杂认知推理任务的能力，使其更加接近人类水平。