论文标题：Deep active sampling with self-supervised learning（基于自监督表征学习的深度主动采样方法）

期刊：Frontiers of Computer Science

作者：Haochen SHI, Hui ZHOU

发表时间：15 Jun 2023

DOI：10.1007/s11704-022-2189-z

微信链接：点击此处阅读微信文章

导读

自监督学习在无需标注的情况下，具有高效学习良好特征表示的强大能力。为了有效地执行自监督学习，通常需要在一个前置任务上训练模型，然后在下游任务上对其进行微调。前置任务的目的是引导模型学习数据的中间表示。下游任务是前置模型向特定任务的知识转移过程。通常需要大量标记的示例来微调下游任务的预训练模型。然而，标记样本通常代价高昂，并且非常昂贵。主动学习是解决该问题地一种主要途径，旨在通过主动挑选最具价值的样本进行标注并加入训练，来降低模型对已标注样本的需求量，从而降低总标注代价。

最近，一些研究尝试将自监督学习与主动学习相结合，以降低标记样本的成本。然而，这种方法很难有效地提高模型性能，因为它没有考虑前置任务上示例的特征表示性能。为了克服这一缺点，我们提出了一种具有自监督表示学习的深度主动采样框架。它主动选择对下游任务有信息且在前置任务上具有高表示质量的示例，因此可以显著降低总体标记成本。

本文章的主要贡献包括以下三个方面：

• 我们提出基于自监督表征学习的深度主动采样框架，通过主动地挑选最具效用的样本，以最小的标注代价高效地提升自监督预训练模型在特定下游任务上的微调性能。

• 在该学习框架中，同时考虑样本在自监督任务中的特征表示性能以及在下游任务上的信息量，提出一个新的主动采样策略，以适用 于自监督预训练模型在下游任务的微调。

• 我们在两种自监督模型下进行了实验。在不同数据集上的大量实验结果表明，我们提出的方法能显著地优于目前最先进的深度主动采样方法。

文章精要

相关内容推荐：

文章精要 | 一种用于异构聚类的深度对抗贝叶斯生成模型 2023 17(3)：173322

文章精要 | 北京航空航天大学牛虹婷团队：基于大规模移动数据的城市商圈潮汐效应探索 2023 17(3)：173319

文章精要 | 中国科学技术大学陈恩红教授团队：通过方差约减加速在非独立同分布数据下的Local SGD 2023 17(2)：172311

文章精要 | 吉林大学叶育鑫教授团队：基于复制驱动与自定义SAT求解策略的轻量级公理定位 2023 17(2)：172315

文章精要 | 基于多尺度特征融合的光滑调制神经网络用于车辆颜色识别 2023 17(3)：173321

文章精要 | 东南大学米思娅团队：基于代理度量模型的弱监督动作时序定位 2023 17(2)：172309

文章精要 | 基于生理-物理特征融合的自动语音欺骗检测 2023 17(2)：172318

文章精要 | 西北工业大学於志文教授团队：面向流式数据的人机交互在线自适应异常检测 2023 17(2)：172317

文章精要 | 教师合作：针对多源跨域少样本学习的团队知识蒸馏 2023 17(2)：172312

文章精要 | 北京航空航天大学庄福振教授团队：使用知识图谱缓解少样本学习中的数据偏移 2023 17(1)：171305

文章精要 | 苏州大学张莉教授团队：最大差异最大化准则：一种针对文本分类的特征选择方法 2023 17(1)：171337

文章精要 | 南京信息工程大学田青教授团队：用于无监督预适应的自适应标签过滤学习 2023 17(1)：171308

文章精要 | 南昌大学闵卫东教授团队：基于元学习和双输入网络DMNet的场景自适应人群计数方法 2023 17(1)：171304

Frontiers of Computer Science

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办、SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；入选“中国科技期刊卓越行动计划项目”。

《前沿》系列英文学术期刊

由教育部主管、高等教育出版社主办的《前沿》（Frontiers）系列英文学术期刊，于2006年正式创刊，以网络版和印刷版向全球发行。系列期刊包括基础科学、生命科学、工程技术和人文社会科学四个主题，是我国覆盖学科最广泛的英文学术期刊群，其中12种被SCI收录，其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录，具有一定的国际学术影响力。系列期刊采用在线优先出版方式，保证文章以最快速度发表。

中国学术前沿期刊网

http://journal.hep.com.cn