柯洁被AlphaGo战败后,留下一句话:“AlphaGo看上去像‘神’一样的存在,好像是无懈可击的。”但实际上,AlphaGo并非完美,甚至有一个很严重的弱点——没有“迁移学习”的能力。
“迁移学习是我们人类智慧的一种特质,就像我们学习知识和技能中的‘举一反三’。例如我们一旦学会了骑自行车,骑摩托车就容易很多。但是,AlphaGo不能在学会围棋后,迁移到拥有下象棋的能力。”香港科技大学计算机科学与工程系主任杨强说道。
目前,机器人最强的能力就是会使用大量数据进行学习,数据量对它来说无比重要。然而当数据不足时,机器人又该如何深度学习?
在业界看来,迁移学习将成为机器学习的下一个前线,它能够把大数据得到的模型迁移到小数据上面,让机器人摆脱对大数据的严重依赖。若机器人学会举一反三,那么人工智能或许就不再只是“少数人的游戏”,人人都能享受其带来的红利。
深度学习并非唯一关注点
相对于去年战胜李世石的AlphaGo1.0,今年在人机围棋大战获胜的AlphaGo2.0变得更加“聪明”,而这背后就是机器深度学习技术的突破。
“深度学习”意为使机器模仿人脑神经网络的学习、判断和决策能力。比如,AlphaGo机器人以半年时间集中模仿学习了3000万步人类围棋大师的走法,并从自我对弈中积累胜负经验。
在全球机器智能峰会上,作为AlphaGo开发者们的导师,阿尔伯塔大学计算机科学教授、计算机围棋专家Martin Müller对计算机围棋及其背后的技术进行了深度解读。
他表示,AlphaGo的学习过程是线下的,它通常是先发展出若干神经网络以待比赛中使用。在获取棋局信息后,AlphaGo的策略网络会探索哪些位置具备潜在价值,在分配的搜索时间结束时,模拟过程中被系统最繁琐考察的位置将成为AlphaGo 的最终选择。
“在经过先期的全盘探索和过程中对最佳落子的不断揣摩后,高效的算法与强大的计算能力实现了超越人类的直觉判断。”Martin Müller说。
杨强也分析道,今年AlphaGo拥有的数据与去年相比大有不同,数据的质量使其性能得到大幅度提升,所以数据源质量非常重要;去年AlphaGo用了上千块CPU和成百块GPU,而今年只用了很少量的TPU,因此,AlphaGo2.0的计算架构也有飞跃性的变化;另外,强化学习也让计算机能够自我训练、自我学习。
然而,这也暴露出深度学习所具有的局限性。地平线机器人CEO余凯坦言,肥沃的数据“土壤”才能“训练”出深度学习模型,但目前数据源、数据算法、数据应用的市场高度分离,未形成完善的“大数据+人工智能”产业链,导致人工智能技术的发展仍然面临数据源不足和技术垄断两大挑战。
在Martin Müller看来,“深度学习是近几年来科技界火热的话题,但它并不是人工智能的全部。如果你只关注深度学习,那你就会错过很多东西” 。
迁移学习将成AI下一站
“现有成功的人工智能应用都有高质量的数据、优良计算架构和自我学习的闭环能力,我们在深度学习上已经有了很大的成就,而机器学习的明天是在小数据、个性化、可靠性上面,就是迁移学习的发展。”杨强说。
什么是迁移学习?就是把在A领域已经建立好的模型或者经验,迁移到B领域仍然适用,既节省了资源和时间,又高效地完成了任务。“比如,能够将骑自行车的经验应用在骑摩托车上。”杨强说。
关于迁移学习的应用,刚从百度离职的首席科学家吴恩达就十分重视,在去年的NIPS 2016讲座上,吴恩达表示:“在监督学习之后,迁移学习将引领下一波机器学习技术商业化浪潮。”他甚至认为迁移学习是未来五年中人工智能的重要发展方向。
“今天,机器学习全部经济价值都是应用学习,从针对特定任务的标记数据中学习。对于很多任务来说,特定垂直领域的数据并不足以支持系统建构。因此,迁移学习会是一个很有活力的领域,机器可以学会一个不同的任务。”吴恩达说。
也就是说,对于数据量较少的特定垂直领域而言,迁移学习可能是其实现智能化的最佳途径。
不过,迁移学习对传统机器人行业带来的冲击也是巨大的。传统机器人的控制方法都依赖于人工,需要对每一种机器人进行编程;而通过迁移学习,机器人可以把在仿真环境中学会的知识运用到真实的环境,这将为智能时代制造和训练机器人创造最好的工具。
“我们希望构建的系统不仅在特定领域发挥作用,在其周边也可以发挥作用。即我们希望系统是可靠的,其可以举一反三和融会贯通,这也是我们赋予智慧的一种定义。”杨强说,“要把一个通用的系统加上个人的小数据,迁移到个人场景当中去,向个性化方向发展,迁移学习是一个必不可少的工具。”
那么,如何使机器人拥有“举一反三”的能力?“如果我们面临一个机器学习问题,那么可以通过把问题的结构和内容分离开来而发现不同问题之间的共性。虽然这种方式并不容易,但一旦能够完成的话,系统举一反三的能力就非常强了。”杨强说。
在杨强看来,通过“深度学习+小样本”的理念,即将大数据训练好的模型迁移到类似场景加以改进应用,就能够打破“逢模型必大数据”的局限。倘若人工智能摆脱了对大数据的严重依赖,也就使得机器人不再只是“少数人的游戏”。
要让“迁移”发挥作用
在IT行业,“迁移学习”已有局部应用。第四范式创始人戴文渊在百度负责名为“凤巢”的广告营销系统期间,利用“迁移学习”将百度搜索算法应用到问答社区“百度知道”,使后者点击率提升四成;腾讯将大规模在线电商推荐任务迁移到新领域,大大减少了数据需求量;微软也利用“迁移学习”分析了电商产品的舆情取向。
对于中小企业来说,迁移学习也意义重大。有人工智能专家表示,这项技术将赋能中小企业,打破人工智能技术垄断。中小企业在大数据条件不足的情况下,也能使用市场上购买的通用运算模型、结合自身小数据应用人工智能技术。这将使市场倾向于交易人工智能模型而非买卖敏感数据,也可避免大数据垄断者成为人工智能寡头,促进社会公平发展。
此外,通过“迁移学习+云计算”也可以解决隐私保护问题。在云计算领域,云服务上通常需要用户上传私密数据,利用“迁移学习”后,云端通用的机器学习模型可加载到个人客户端,再借助“迁移学习”技术实现个性化模型应用,避免敏感数据泄露。
不过,上述专家表示,迁移学习的理念至今仍是基础研究的课题之一,许多根本性的问题仍然悬而未决。例如,并非所有的“迁移”都是有用的,要让“迁移”发挥作用,学习任务之间至少需要相互关联,而这种关联方式仍然缺乏精确定义或科学分析,且与其他领域相关概念之间的联系仍有待阐明,如认知科学和学习理论。