基于近似牛顿法的分布式深度学习

论文摘要

在许多机器学习问题中,往往需要解决大规模模型的最优化问题。最优化问题主要研究各种问题的优化途径及方案,在科学计算和工程分析中起着越来越重要的作用。近似牛顿法作为解决这一问题的有效方法,在计算机视觉、统计机器学习、生物信息和数据挖掘等领域都有广泛的应用。随着深度网络的快速发展,数据和参数规模也日益增长。近些年来,尽管研究人员在提升GPU硬件性能、完善网络架构和改进训练方法等方面均获得了很大的进步,但是在大型数据集上以单一机器训练深度网络模型仍然十分困难,因此,分布式优化及其在大规模深度网络上的训练一直是深度学习研究领域的挑战性问题。随着深度网络数据量和模型参数量的增加,传统的单机训练存在训练时间长,内存容量有限,而分布式优化方法可以很好的解决这一问题。因此,本文将分布式近似牛顿法算法引入到分布式神经网络研究中。该算法将总体样本平均分布至多台计算机,不但减少了每台计算机所需处理的数据量,而且利用计算机之间互相通信高效完成训练任务。首先,对分布式近似牛顿法同步策略进行Matlab同步并行仿真实验,在实验中均衡地划分数据集,并行地对数据集进行计算,在相同矩阵下,并行优化运行时间相比于串行运行时间大大减少,并且收敛性也能得到保证。其次,本文将分布式近似牛顿法用于训练深度网络。该算法使Parameter server集群中的各个Worker节点利用均等分配的本地数据完成计算,并与Server节点进行通信,得到同步优化的结果。利用分布式近似牛顿法训练相同的深度网络时,随着GPU数目呈2的倍数增加,训练时间呈近乎2的指数次幂减少。这与本文的最终目的一致,即在保证精度的前提下,利用现有分布式框架实现近似牛顿法的深度网络训练,提升运行效率。

论文目录

摘要

Abstract

第一章绪论

1.1 研究背景

1.2 国内外研究现状

1.2.1 算法研究现状

1.2.2 并行运算框架与分布式系统

1.3 论文的主要内容及章节安排

第二章相关方法理论介绍

2.1 牛顿迭代法

2.2 近似牛顿法

2.2.1 Bregman散度

2.2.2 分布式近似牛顿法

2.2.3 二次目标的分布式近似牛顿法

2.3 分布式Parameter server

2.4 深度学习

第三章近似牛顿法的分布式仿真

3.1 经验风险最小化

3.2 仿真分布式近似牛顿法

3.3 实验设计及结果分析

3.4 本章小结

第四章基于近似牛顿法的分布式深度网络训练

4.1 分布式优化

4.2 分布式并行算法

4.2.1 可行性分析

4.2.2 分布式并行算法设计

4.3 环境配置

4.3.1 Mxnet环境配置

4.3.2 配置ssh免密码登录

4.4真实数据集实验

4.5 本章小结

第五章结论与展望

5.1 工作内容及创新之处

5.2 今后工作展望

致谢

参考文献

攻读硕士期间完成的科研情况

附录

文章来源

类型: 硕士论文

作者: 王雅慧

导师: 袁晓彤,朱付平

关键词: 近似牛顿法,仿真,并行优化,深度网络

来源: 南京信息工程大学

年度: 2019

分类: 基础科学,信息科技

专业: 数学,自动化技术

单位: 南京信息工程大学

分类号: TP18;O242.23

DOI: 10.27248/d.cnki.gnjqc.2019.000541

总页数: 57

文件大小: 2104K

下载量: 66

基于近似牛顿法的分布式深度学习

论文摘要

论文目录

文章来源

相关论文文献

猜你喜欢