基于Spark MLlib的股票数据分析研究

基于Spark MLlib的股票数据分析研究

论文摘要

股票是一个国家经济社会的主要组成部分,但是股票价格深受经济环境、国家政策、国内外环境等的影响,所以股票的波动方向与股票价格本身就很难预测,再加上股票交易中市场的随机性、信息的不对称性和投资者的从众心态使得对股票数据的分析研究十分困难。但是对金融市场的研究、对股票的分析却一直都是研究的热点。为了能够更加准确地分析股价的波动方向,本文提出了对股票交易数据进行小波降噪处理,并且计算和收集股票市场中常用到的技术指标因子与情绪类因子,并对这些因子数据做主成分分析,经过预处理再进行机器学习的分类分析。应用机器学习中的逻辑回归、支持向量机、随机森林对股票数据做分类分析后,利用预测得到的结果进行组合投票,并做对比实验,实验表明,数据在降噪降维后,经过组合投票分析能够得到较为理想的结果。关于股票价格的预测也是目前研究的重点之一,本文应用长短时记忆网络对股票价格做了预测,在LSTM中应用滑动时间窗口对股票价格做短期预测选择出最佳窗口,之后在相同迭代次数下,比较了降噪降维数据与对比文献使用的原始数据做LSTM的实验结果。最后应用平均绝对误差、均方误差、均方根误差和平均绝对误差百分比对误差进行了分析。之后,应用Spark MLlib的分布式学习对上述算法在集群中进行实验,比较单机环境与集群环境中的性能差异,在需要多次迭代计算时,基于Spark集群的计算速度是单机时的两倍,但由于数据集本身较小,不能充分体现出Spark的优越性,未来,随着自然语言处理以及对股票进行文本分析量化的进步,在数据集较大时,Spark的优势将进一步体现。

论文目录

  • 摘要
  • Abstract
  • 第1章 绪论
  •   1.1 研究背景及意义
  •   1.2 国内外研究现状
  •     1.2.1 股票机器学习的研究现状
  •     1.2.2 Spark应用现状
  •   1.3 本文的主要研究内容和结构安排
  • 第2章 数据采集与预处理
  •   2.1 数据采集
  •   2.2 小波去噪
  •   2.3 主成分分析降维
  •   2.4 本章小结
  • 第3章 组合投票分析
  •   3.1 机器学习分类方法
  •     3.1.1 逻辑回归
  •     3.1.2 支持向量机
  •     3.1.3 随机森林
  •   3.2 组合投票法
  •   3.3 实验部分
  •     3.3.1 实验设计
  •     3.3.2 实验结果与分析
  •   3.4 本章小结
  • 第4章 LSTM股票价格分析
  •   4.1 LSTM神经网络
  •     4.1.1 LSTM单元结构
  •     4.1.2 LSTM的反向传播
  •     4.1.3 基于股价预测的LSTM的网络结构设计
  •   4.2 滑动时间窗口
  •   4.3 实验部分
  •     4.3.1 实验设计
  •     4.3.2 误差指标选取
  •     4.3.3 实验结果与分析
  •   4.4 本章小结
  • 第5章 基于Spark平台的股票分析
  •   5.1 基于Spark的组合投票学习
  •   5.2 基于Spark的LSTM训练
  •   5.3 本章小结
  • 第6章 总结和展望
  •   6.1 本文的工作总结
  •   6.2 展望
  • 参考文献
  • 攻读硕士学位期间发表的论文及其它成果
  • 致谢
  • 文章来源

    类型: 硕士论文

    作者: 高红

    导师: 廖斌

    关键词: 股票分析,主成分降维,组合投票,长短时记忆网络

    来源: 华北电力大学(北京)

    年度: 2019

    分类: 基础科学,经济与管理科学

    专业: 数学,宏观经济管理与可持续发展,金融,证券,投资

    单位: 华北电力大学(北京)

    分类号: F224;F832.51

    DOI: 10.27140/d.cnki.ghbbu.2019.000770

    总页数: 50

    文件大小: 3469K

    下载量: 94

    相关论文文献

    • [1].工作满意度与股票市场参与[J]. 经济科学 2019(06)
    • [2].中国股票市场体系发展方向问题研究[J]. 中国经贸导刊(中) 2020(01)
    • [3].中国股票市场对外开放进入下半场[J]. 中国外汇 2019(20)
    • [4].股票市场系统特性分析及应用[J]. 时代金融 2020(10)
    • [5].中国股票市场与宏观经济发展相背离的原因分析[J]. 现代营销(下旬刊) 2020(08)
    • [6].价值投资在中国股票市场实现道路的探索[J]. 时代金融 2020(24)
    • [7].晚清外商股票市场[J]. 中国金融 2018(21)
    • [8].中国股票市场流通性价值分析[J]. 全国流通经济 2018(31)
    • [9].我国股票市场的发展对经济的影响[J]. 广西质量监督导报 2018(10)
    • [10].长寿风险对股票市场参与影响的实证分析[J]. 统计与决策 2019(09)
    • [11].中国股票市场振兴问题研究[J]. 时代金融 2019(11)
    • [12].中国股票市场的特征、问题及发展建议[J]. 中国经济报告 2019(06)
    • [13].我国股票市场发展探究[J]. 中国国际财经(中英文) 2018(03)
    • [14].国际油价下跌对我国股票市场的影响[J]. 品牌研究 2018(02)
    • [15].加拿大政策利率对多伦多股票市场的影响[J]. 财经问题研究 2018(05)
    • [16].浅析股票市场的可预测性[J]. 中国商论 2018(26)
    • [17].个人投资者行为对中国股票市场影响的研究[J]. 学习与实践 2016(11)
    • [18].我国股票市场与实体经济发展的关联性分析[J]. 商业经济研究 2017(05)
    • [19].基于反向和隐蔽交易的股票市场知情交易研究[J]. 山东社会科学 2017(04)
    • [20].股票市场及金融中介对经济发展的影响[J]. 市场研究 2017(04)
    • [21].从换手率变化看我国股票市场的非理性表现[J]. 中国商论 2017(04)
    • [22].中国股票市场弱有效性的方差比率检验分析[J]. 金融经济 2017(10)
    • [23].我国股票市场的行业轮动性分析[J]. 中国商论 2017(32)
    • [24].行为金融学在中国股票市场的应用探析[J]. 现代商业 2015(32)
    • [25].建立多层次股票市场体系[J]. 金融博览(财富) 2015(05)
    • [26].如何看待中国当前的股票市场?[J]. 博鳌观察 2015(03)
    • [27].中国股票市场改革与创新发展的逻辑[J]. 当代经济科学 2015(06)
    • [28].股票市场:显现改革深化提升市场韧性[J]. 当代金融家 2020(Z1)
    • [29].中小投资者股票投资中的风险规避[J]. 商业故事 2019(08)
    • [30].我国股票成交金额及其影响因素的研究[J]. 智富时代 2017(04)

    标签:;  ;  ;  ;  

    基于Spark MLlib的股票数据分析研究
    下载Doc文档

    猜你喜欢