面向深度学习训练任务的自适应任务分配方法

论文摘要

随着深度学习的任务训练对计算资源的需求不断提高,采用GPU集群来训练深度学习任务成为首选.但基于集群的一些深度学习框架都需要手动设置训练方法以及环境资源,这样往往不能保证训练任务的耗时最短.本文针对该问题提出一种自适应任务分配方法,可以根据不同的训练模型,自动选择最佳的分配方案.本方法首先根据Roofline模型并结合训练模型,计算出每个计算节点的理论计算时间,然后再考虑不同训练方式过程中的通信时间和其它额外开销,最后根据组合优化的原理,从而确定深度学习任务的训练方式以及所涉及的计算节点.实验表明,本方法在异构GPU集群下训练Alexnet网络,可以表现出91. 6%的高准确率.

论文目录

文章来源

类型: 期刊论文

作者: 陈伟,陈庆奎

关键词: 深度学习,自适应,任务分配方法,集群

来源: 小型微型计算机系统 2019年12期

年度: 2019

分类: 信息科技

专业: 自动化技术

单位: 上海理工大学光电信息与计算机工程学院

基金: 国家自然科学基金项目(61572325,60970012)资助,高等学校博士学科点专项科研博导基金项目(20113120110008)资助,上海重点科技攻关项目(14511107902,16DZ1203603)资助,上海市工程中心建设项目(GCZX14014)资助,上海智能家居大规模物联共性技术工程中心项目(GCZX14014)资助,上海市一流学科建设项目(XTKX2012)资助,沪江基金研究基地专项项目(C14001)资助

分类号: TP18

页码: 2531-2537

总页数: 7

文件大小: 664K

下载量: 182

相关论文文献

• [1].海军航母编队启航执行机动训练任务[J]. 兵器知识 2017(08)
• [2].微课在中职电子商务专业技能训练中的实践与思考[J]. 林区教学 2020(10)
• [3].足球伴我成长[J]. 小学时代 2019(16)
• [4].从朗读兴趣入手促进学生阅读习惯养成[J]. 百科知识 2019(06)
• [5].云南省警务实战教官建设存在问题及对策[J]. 云南警官学院学报 2012(01)
• [6].阅兵村“十八怪”[J]. 初中生世界 2009(28)
• [7].浅谈如何做好体育课的准备活动[J]. 学园(教育科研) 2012(20)
• [8].口算题组:在训练中“增值”[J]. 江苏教育 2010(01)
• [9].基于IDEF3/Petri的导弹营训练任务建模[J]. 微计算机信息 2010(04)
• [10].谈舞蹈训练的目的与原则[J]. 艺术科技 2017(04)
• [11].执着追求 无怨无悔[J]. 中国学校体育 2008(12)
• [12].IDF两兄弟[J]. 航空世界 2012(01)
• [13].如何赏罚更有效?[J]. 心理与健康 2012(03)
• [14].严格卫生装备训练 切实提高保障效能[J]. 实用医药杂志 2009(12)
• [15].在体校上好美术课的几个要点[J]. 教师博览(科研版) 2012(Z1)
• [16].川藏线某汽车部队士兵住院疾病谱调查[J]. 西南国防医药 2012(10)
• [17].基于训练任务的舰炮备件短缺风险建模与仿真研究[J]. 海军航空工程学院学报 2010(01)
• [18].当你在团队里游得最快怎么办?[J]. 游泳 2018(06)
• [19].卫勤医疗队训练伤的预防[J]. 当代医学 2011(08)
• [20].少儿初学背越式跳高的心理初探[J]. 当代体育科技 2013(19)
• [21].浅谈小学生英语书写技能的培养[J]. 学苑教育 2014(10)
• [22].魔鬼训练[J]. 小学生作文辅导(五六年级适用) 2015(11)
• [23].“山鹰”的气动布局特点[J]. 兵器知识 2013(10)
• [24].教练员威信树立探讨[J]. 体育科技 2009(02)
• [25].电子信息工程专业创新创业训练问卷分析[J]. 科技创新导报 2013(29)
• [26].河南省青少年篮球教练员科研状况调查分析[J]. 运动 2010(02)
• [27].紧贴阅兵训练实际 扎实搞好学习实践活动[J]. 军队党的生活 2009(11)
• [28].基于情绪感知的机器人辅助主动康复训练任务控制方法[J]. 机器人 2018(04)
• [29].善意的谎言也能让学生走向成功[J]. 中国学校体育 2009(09)
• [30].浅谈如何做好训练任务调整后教员队伍建设问题[J]. 现代企业教育 2014(24)

标签：深度学习论文;  自适应论文;  任务分配方法论文;  集群论文;