Print

基于双向长短时记忆网络的改进注意力短文本分类方法

论文摘要

【目的】针对短文本篇幅较短、特征稀疏等问题,基于双向长短时记忆网络,提出一种改进注意力的端到端短文本分类模型。【方法】采用预训练词向量完成原始文本数字化;利用双向长短时记忆网络进行语义特征提取;在此基础上,改进注意力层将正向和反向特征进行融合,用于全局注意力得分计算,以获得具有深层语义特征的短文本向量表示;采用Softmax给出样本标签的分类结果。【结果】相比于传统的卷积神经网络、长短时记忆网络以及双向长短时记忆网络模型,基于双向长短时记忆网络的改进注意力模型在包含中英文的多个数据集上分类精度取得提升,其中最高提升为19.1%。【局限】仅针对短文本分类问题,对于篇幅长度较长文本,模型分类精度提升有限。【结论】基于双向长短时记忆网络的改进注意力模型实现短文本分类,能够充分利用文本的上下文语义特征,有效地克服短文本特征稀疏,提高短文本分类性能。

论文目录

  • 1 引言
  • 2 相关工作
  •   2.1 长短时记忆网络
  •   2.2 双向长短时记忆网络模型
  •   2.3 注意力机制
  • 3 基于双向长短时记忆的改进注意力模型
  •   3.1 模型结构
  •   3.2 嵌入层
  •   3.3 双向长短时记忆层
  •   3.4 改进的注意力层
  •   3.5 Softmax层
  • 4 实验结果及分析
  •   4.1 数据集
  •   4.2 基线模型
  •   4.3 模型训练
  •   4.4 实验结果
  •   4.5 实验分析
  • 5 结语

    • 文章来源

    类型: 期刊论文

    作者: 陶志勇,李小兵,刘影,刘晓芳

    关键词: 短文本分类,双向长短时记忆网络,注意力机制

    来源: 数据分析与知识发现 2019年12期

    年度: 2019

    分类: 信息科技

    专业: 计算机软件及计算机应用,自动化技术

    单位: 辽宁工程技术大学电子与信息工程学院

    基金: 国家重点研发计划项目“新兴产业集成化检验检测服务平台研发与应用”(项目编号:2018YFB1403303),辽宁省博士启动基金项目“大规模无线传感网泊松混合路由协议及数据分析模型研究”(项目编号:20170520098),辽宁省自然基金项目“非接触掌纹掌脉双模态鲁棒特征提取及识别方法研究”(项目编号:2015020100)的研究成果之一

    分类号: TP391.1;TP183

    页码: 21-29

    总页数: 9

    文件大小: 1192K

    下载量: 643

    相关论文文献

    本文来源: https://www.lunwen66.cn/article/6e536b85d3e8322718865854.html