论文标题：DRPS: efficient disk-resident parameter servers for distributed machine learning（DRPS—— 针对分布式机器学习的高效磁盘驻留参数服务器）

期刊：Frontiers of Computer Science

作者：Zhen SONG, Yu GU, Zhigang WANG, Ge YU

发表时间：01 Dec 2021

DOI：10.1007/s11704-021-0445-2

微信链接：点击此处阅读微信文章

导读

参数服务器作为最先进的分布式大规模迭代机器学习架构已经被学者广泛研究。然而，现存的基于参数服务器架构的系统通常以内存驻留的方式实现。由于内存空间的限制，一些机器学习开发人员很难在他们的小集群中训练大规模的机器学习任务。此外，租借大规模云服务器对于一些资金有限的研究团队或小公司是不可行的。在本文，我们提出了一个名为DRPS的磁盘驻留参数服务器系统，该系统通过将高维模型存储到磁盘中来减少硬件需求。为了进一步提升DRPS的效率，我们建立了高效的索引和一个全新的多目标参数划分算法。最后，我们提出一个灵活的工作机自主选择的并行计算模型WSP来实现在参数版本不一致和进程执行不一致两者之间的权衡。

文章精要

摘要

Parameter server (PS) as the state-of-the-art distributed framework for large-scale iterative machine learning tasks has been extensively studied. However, existing PS-based systems often depend on memory implementations. With memory constraints, machine learning (ML) developers cannot train large-scale ML models in their rather small local clusters. Moreover, renting large-scale cloud servers is always economically infeasible for research teams and small companies. In this paper, we propose a disk-resident parameter server system named DRPS, which reduces the hardware requirement of large-scale machine learning tasks by storing high dimensional models on disk. To further improve the performance of DRPS, we build an efficient index structure for parameters to reduce the disk I/O cost. Based on this index structure, we propose a novel multi-objective partitioning algorithm for the parameters. Finally, a flexible workerselection parallel model of computation (WSP) is proposed to strike a right balance between the problem of inconsistent parameter versions (staleness) and that of inconsistent execution progresses (straggler). Extensive experiments on many typical machine learning applications with real and synthetic datasets validate the effectiveness of DRPS.

相关内容推荐：

基于元对抗损失的正则化方法 2022 16(5)：165331

汉-越神经机器翻译的语言特性模板集成 2022 16(3)：163344

语法错误纠正的可控数据合成方法研究 2022 16(4)：164318

基于高性能计算的时序动作提名生成 2022 16(4)：164317

一种用于噪声标签学习数据融合与联合训练方法 2022 16(6)：166338

利用谷歌街景影像探索街景要素与犯罪行为的关联关系 2022 16(4)：164316

L3-值命题逻辑的单调性和非单调性 2022 16(4)：164315

基于硬盘的Pay-as-you-go 记录链接 2022 16(4)：164340

基于危险经验规划的安全防护模型改进深度强化学习 2022 16(4)：164320

从二次神经网络动力学理解深度学习 2022 16(3)：163313

人脸掩膜引导的多样化人脸图像合成 2022 16(3)：163311

基于图卷积网络的局部特征聚合算法 2022 16(3)：163309

迈向更好的实体链接 2022 16(2)：162308

基于深度学习网络的侧信道攻击 2022 16(2)：162303

DeepM6ASeq-EL: 基于LSTM网络和集成学习预测人类m6A甲基化位点 2022 16(2)：162302

基于标记分布的多模态机器学习 2022 16(1)：161306

基于深度层叠式表征的高效三维点云理解网络 2022 16(1)：161301

Frontiers of Computer Science

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办、SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；入选“中国科技期刊卓越行动计划项目”。

《前沿》系列英文学术期刊

由教育部主管、高等教育出版社主办的《前沿》（Frontiers）系列英文学术期刊，于2006年正式创刊，以网络版和印刷版向全球发行。系列期刊包括基础科学、生命科学、工程技术和人文社会科学四个主题，是我国覆盖学科最广泛的英文学术期刊群，其中13种被SCI收录，其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录，具有一定的国际学术影响力。系列期刊采用在线优先出版方式，保证文章以最快速度发表。

中国学术前沿期刊网

http://journal.hep.com.cn