深度神经网络中激活函数的研究

主要介绍了激活函数的定义、作用和发展现状,并对常见激活函数的特点及其对深度神经网络性能的影响进行了简单分析,对基于TensorFlow框架使用Kaggle比赛数据集(cat vs dog)分别使用ReLu和ELU激活函数进行图像分类识别的对比实验,为目前激活函数的研究提供相关参考。

1 激活函数的定义与作用

2 激活函数的发展阶段

3 深度神经网络中的激活函数

3.1 S型饱和函数

3.2 ReLU系列函数

3.3 Swish函数

4 图像分类实验

5 结语

类型: 期刊论文

作者: 牟晋娟

关键词: 深度学习,神经网络,激活函数,函数,梯度消失

来源: 电脑编程技巧与维护 2019年12期

年度: 2019

分类: 信息科技

专业: 自动化技术

单位: 苏州百年职业学院

基金: 2019年江苏省高职院校青年教师企业实践培训项目(2019QYSJPX242)研究成果

分类号: TP183

DOI: 10.16184/j.cnki.comprg.2019.12.021

页码: 59-61

总页数: 3

文件大小: 184K

下载量: 431