两类流数据的在线检验

论文摘要

假设检验是用于检验统计假设的一种统计方法,其基本思想是小概率反证法思想。小概率反证法思想认为小概率事件在一次试验中基本上不可能发生,在这个方法下,首先对总体作出一个假设,这个假设大概率会成立,如果在一次试验中,试验结果和原假设相背离,即小概率事件发生了,那就有理由怀疑原假设的真实性,从而拒绝这一假设。传统的假设检验是在数据收集结束后进行一次整体检验。随着大数据技术的发展以及数据的快速增长,各领域都出现了大量的流数据。所谓流数据就是一个随时间延续而无限增长的动态数据集合。对于持续生成动态新数据的大多数场景,我们等不到数据收集完了再对其进行一次整体性的检验,如果采用传统的假设检验就会产生数据迟滞性高等问题。因此在传统假设检验的基础上我们设计了两种在线检验。在线检验是一种对流数据进行实时检验的方法,具有很强的时效性。本文正是在这样的背景下,针对假设检验做了以下两方面的工作:第一,在传统卡方检验和Hosmer-Lemeshow检验的基础上提出了在线的卡方检验以及在线的Hosmer-Lemeshow检验。文中结合某个医院产妇的产检数据,先用Lasso算法对产检指标进行筛选,选出最能影响胎儿死亡结果的关键因素指标进行Logistic回归,然后对拟合出的模型进行在线的卡方检验和在线的Hosmer-Lemeshow检验。通过与传统的只在最后做一次整体的卡方检验与Hosmer-Lemeshow检验相比,可以发现在线的拟合优度检验能把整个检验的过程打开,能够看到整个研究过程中拟合优度的改变情况,能及时发现模型预测准确度不高的情形,能够帮助决策者决定当前模型是否要继续使用还是停下来并采取一定的措施从而降低损失。第二,提出了一种新的多元Score test监控方法（Multivariate Score Test Monitoring Method,简记为MSTM）用于监控多元的流数据。一方面,多元Score test监控方法不像传统的2形式的多元控制图（Hotelling’s2、MEWMA、MCUSUM）一样要求数据要服从多元正态分布这一前提假设条件;另一方面,Score test是一致最优势检验。与传统的2形式的控制图相比,采用Score test进行监控的势（power）会更高。我们采用Copula函数来得出多元数据的联合分布函数,然后与Score test结合,构造检验统计量对多元数据进行监控。模拟结果显示,MSTM对中小漂移的监控效果比基于Copula的Hotelling’s2控制图更灵敏。

论文目录

文章来源

类型: 硕士论文

作者: 邱钰珂

导师: 刘浏,赖欣

关键词: 回归模型,拟合优度检验,在线卡方检验,在线检验,控制图,多元

来源: 四川师范大学

年度: 2019

分类: 基础科学

专业: 数学

单位: 四川师范大学

分类号: O212.1

DOI: 10.27347/d.cnki.gssdu.2019.001118

总页数: 40

文件大小: 2674K

下载量: 16

相关论文文献

• [1].面向流数据的实时处理及服务化系统[J]. 重庆大学学报 2020(07)
• [2].基于决策树的流数据分类算法综述[J]. 西北民族大学学报(自然科学版) 2020(02)
• [3].流数据边缘处理探讨[J]. 信息通信 2020(08)
• [4].一种基于流数据处理的预警系统设计[J]. 电脑知识与技术 2019(30)
• [5].基于部分重编码的流数据发布隐私保护算法[J]. 吉林大学学报(理学版) 2018(01)
• [6].基于流数据的网络监控系统设计[J]. 重庆科技学院学报(自然科学版) 2016(04)
• [7].一种面向流数据频繁项挖掘的降载策略[J]. 计算机应用研究 2011(04)
• [8].流数据和传统数据存储及管理方法比较研究[J]. 计算机技术与发展 2009(04)
• [9].流数据管理降载技术研究综述[J]. 中国管理信息化 2009(21)
• [10].流数据复杂聚类查询处理算法[J]. 南京航空航天大学学报 2009(06)
• [11].流数据的连续查询优化技术[J]. 计算机应用研究 2008(01)
• [12].利用点击流数据提供个性化信息服务的模式研究[J]. 安徽农业科学 2008(02)
• [13].一类流数据的抽样及其存储方法研究[J]. 统计与信息论坛 2018(10)
• [14].流数据环境下基于分歧策略的高效能集成学习[J]. 计算机工程与应用 2016(13)
• [15].面向大规模流数据的可扩展分布式实时处理方法[J]. 青岛科技大学学报(自然科学版) 2016(05)
• [16].流数据概念漂移的检测算法[J]. 控制与决策 2013(01)
• [17].浅析金融数据库系统中的流数据处理[J]. 信息与电脑(理论版) 2013(02)
• [18].一种基于层次聚类的流数据挖掘方法[J]. 太原师范学院学报(自然科学版) 2008(04)
• [19].基于流数据的模糊聚类算法[J]. 计算机应用与软件 2008(02)
• [20].一种面向流数据的分布式实时存储方法[J]. 电脑知识与技术 2015(19)
• [21].一种基于信息熵的多维流数据噪声检测算法[J]. 计算机科学 2012(02)
• [22].一种流数据多播接口的设计、实现与应用[J]. 集成技术 2012(01)
• [23].分布式流数据频繁项发现算法的研究[J]. 计算机应用 2008(01)
• [24].可伸缩的重复流数据检测方法[J]. 系统工程与电子技术 2008(02)
• [25].Web站点的点击流数据分析方法的设计与实现[J]. 信息与电脑(理论版) 2019(16)
• [26].面向流数据的分布式时序同步系统的设计与实现[J]. 软件 2017(02)
• [27].流数据聚类研究综述[J]. 科技广场 2010(01)
• [28].差分隐私流数据自适应发布算法[J]. 计算机研究与发展 2017(12)
• [29].基于分布式流数据的在线汇聚与统计[J]. 数字技术与应用 2018(09)
• [30].面向流数据的演化聚类算法[J]. 武汉大学学报(理学版) 2017(05)

标签：回归模型论文;  拟合优度检验论文;  在线卡方检验论文;  在线检验论文;  控制图论文;  多元论文;