Python词向量训练与应用技术解析

Python词向量训练与应用技术解析

论文摘要

词向量具有优越的语义表示性能。在大数据时代,词向量技术在语言研究中蕴含着广阔的应用前景。本文面向无编程经验的外语教学科研人员,简要介绍自然语言处理中的词向量技术的操作流程,具体包括Python环境配置、Gensim模块安装、词向量训练、保存、加载、应用及其可视化等步骤。本文提供注释完整、可直接运行的Python源代码,读者可根据需要设置相关参数,用于个人的词向量应用研究。

论文目录

  • 1. 引言
  • 2. Python环境配置及编程基础
  •   2.1 环境配置
  •   2.2 Jupyter Notebook
  •     2.2.1 启动程序
  •     2.2.2 Notebook使用说明
  •   2.3 Python编程简介
  •     2.3.1 运行与输出
  •     2.3.2 字符串处理
  •     2.3.3 文本文件读取
  • 3. 安装Gensim包
  • 4. 词向量训练
  •   4.1 启动程序
  •   4.2 准备语料
  •   4.3 参数设置
  •     4.3.1 词向量参数
  •     4.3.2 语料库地址
  •     4.3.3 词向量保存地址
  •     4.3.4 语料预处理
  •   4.4 运行训练
  •   4.5 常见问题
  •     4.5.1 NLTK数据缺失
  •       (1)下载NLTK数据
  •       (2)复制NLTK数据到指定目录
  •     4.5.2 训练速度太慢
  • 5. 词向量探索
  •   5.1 启动程序
  •   5.2 引入模块
  •   5.3 加载模型
  •   5.4 词向量查询
  •     5.4.1 相似词检索
  •     5.4.2 相似度计算
  •     5.4.3 类比推理
  •   5.5 可视化呈现
  •   5.6 其他工具简介
  • 6. 结语
  • 文章来源

    类型: 期刊论文

    作者: 邓海龙

    关键词: 词向量,训练,应用

    来源: 语料库语言学 2019年02期

    年度: 2019

    分类: 哲学与人文科学,信息科技

    专业: 计算机软件及计算机应用

    单位: 北京外国语大学,赣南师范大学

    基金: 教育部人文社会科学重点研究基地重大项目子课题“大数据视野下的外语及外语学习研究”(17JJD740003)的阶段性成果

    分类号: TP391.1;TP312.1

    页码: 88-109+116-117

    总页数: 24

    文件大小: 2663K

    下载量: 85

    相关论文文献

    标签:;  ;  ;  

    Python词向量训练与应用技术解析
    下载Doc文档

    猜你喜欢