变量分离算法及多元响应变量回归问题的研究

变量分离算法及多元响应变量回归问题的研究

论文摘要

随着大数据时代的到来,数据的类型也越来越多。多元响应变量问题的应用场景不断增加。目前有越来越多的学者开始对多元响应变量问题的进行研究,而且也取得了很大的进展。而减秩回归是多元响应变量回归中的重要工具。而当数据维数较高,响应变量之间存在除协变量之外的相依性,或当在观测数据中存在异常值时有很多对应的方法被提出。然而却没有一个统一框架和算法来解决。而多标签分类也是一种多元响应变量问题。只是其响应变量都是二分类变量而已。虽然已经有很多算法来解决多标签分类的问题,但总会存在不同的问题,本文提出了一个新的研究多标签分类的框架。变量选择是近些年一直被大家广泛研究也应用广泛的统计方法。有许多统计学家提出了多种不同的惩罚函数来得到更好的统计性质,针对各种惩罚函数有许多不同的算法被提出,而近两年提出的正交EM算法是一种新的且很有创新型的算法,可以用它来解决带惩罚的线性模型。而我们尝试着将这种想法推广到带惩罚的一般损失函数上去,并将其称为变量分离算法。另外零一膨胀泊松回归模型也被提出和研究,并且基于变量分离算法的想法提出了一种广义EM算法(GEM)来求解.主要内容如下:(1)使用变量分离算法加速求解带非凸惩罚函数的最优化问题。从一个新的角度对OEM算法进行了回顾。针对线性回归模型的最小二乘以外的一类更一般的函数,提出了一种新的算法。证明了生成序列的收敛性并使用Barzilai-Borwein(BB)准则和Nesterov’s方法来加速我们的算法。通过模拟和真实数据分析,以证明该方法的有效性。(2)研究了带有协方差估计的稀疏稳健减秩回归。减秩回归是多元响应变量线性回归模型中的一个非常重要的方法。针对具体不同的情况许多统计学家提出了对减秩回归的改进,而没有一个统一的框架,本文就是考虑了多种不同情况同时发生时减秩回归的建模和估计问题。且应用了区块坐标下降的算法来求解目标函数并且在这一步中用到了变量分离算法。实例和模拟都表明了新方法的有效性。(3)研究了一个新框架下对多标签分类问题的研究.我们考虑用非凸稳健损失函数来减少标签错标的影响。其次我们使用了一种附加的超参数化方法来捕获任何损失函数的标签之间的相依性。然后通过惩罚函数和减秩回归的方法来处理特征矩阵维数较高的问题。最后,统计模拟数据和实际数据分析表明了我们方法的有效性。(4)零和一膨胀泊松回归模型。我们针对零和一同时过多的计数数据提出了零和一膨胀泊松回归模型。然后得到了零和一膨胀泊松回归模型的最大似然估计和贝叶斯估计。而且基于变量分离算法的想法提出了一种新的广义EM算法来求解零一膨胀泊松回归模型。通过模拟研究对各种方法进行了比较。最后通过一个实际数据分析,表明了该方法的实用性。

论文目录

  • 摘要
  • ABSTRACT
  • 主要符号对照表
  • 第一章 绪论
  •   §1.1 多元响应变量减秩回归模型简介
  •     §1.1.1 多元线性回归
  •     §1.1.2 降秩回归问题的背景
  •   §1.2 减秩回归问题中的稳健估计和协方差估计及研究现状
  •     §1.2.1 减秩回归中的稳健估计和协方差估计问题
  •   §1.3 多标签分类问题
  •   §1.4 变量分离算法的背景
  •   §1.5 零一膨胀泊松回归模型的背景
  •   §1.6 本文的主要工作
  • 第二章 变量分离算法加速带非凸惩罚函数的最优化问题
  •   §2.1 研究的背景和意义
  •   §2.2 一个新的视角下对OEM算法的回顾
  •   §2.3 变量分离算法
  •   §2.4 收敛性
  •   §2.5 应用
  •     §2.5.1 逻辑回归
  •     §2.5.2 COX比例风险模型
  •     §2.5.3 多项逻辑回归模型
  •     §2.5.4 广义线性泊松模型
  •   §2.6 计算实验
  •     §2.6.1 模拟
  •     §2.6.2 真实数据例子
  •   §2.7 结论
  •   §2.8 附录
  •     §2.8.1 定理2.4.2的证明
  •     §2.8.2 定理2.4.5的证明
  • 第三章 带有协方差估计的稀疏稳健减秩回归
  •   §3.1 研究背景与意义
  •   §3.2 带有协方差估计的稳健稀疏减秩模型
  •   §3.3 计算算法
  •   §3.4 模拟实验
  •     §3.4.1 相关方法
  •     §3.4.2 模拟设置
  •     §3.4.3 评估方法
  •     §3.4.4 模拟结果
  •   §3.5 真实数据分析
  •   §3.6 结论
  • 第四章 一个新框架下对多标签分类问题的研究
  •   §4.1 研究背景和意义
  •   §4.2 方法
  •     §4.2.1 叠加超参数法
  •     §4.2.2 稳健损失函数
  •     §4.2.3 处理缺失标签
  •   §4.3 算法
  •     §4.3.1 线性化
  •     §4.3.2 关于参数的最优化
  •   §4.4 理论分析
  •   §4.5 实验
  •     §4.5.1 模拟数据
  •     §4.5.2 酵母数据
  •     §4.5.3 鸟类数据
  •     §4.5.4 旗子颜色数据
  •   §4.6 结论
  •   §4.7 附录
  • 第五章 零和一膨胀泊松回归模型
  •   §5.1 简介
  •   §5.2 零和一膨胀泊松模型
  •     §5.2.1 ZOIP回归模型
  •   §5.3 零和一膨胀泊松回归模型
  •     §5.3.1 贝叶斯推断
  •   §5.4 模拟研究
  •   §5.5 真实数据分析
  •   §5.6 结论
  •   §5.7 附录
  • 结论
  • 参考文献
  • 致谢
  • 在学期间的研究成果及发表的论文
  • 文章来源

    类型: 博士论文

    作者: 刘文臣

    导师: 汤银才

    关键词: 减秩回归,变量分离,多标签分类,稳健损失,叠加超参数化,零一膨胀泊松回归,抽样

    来源: 华东师范大学

    年度: 2019

    分类: 基础科学

    专业: 数学

    单位: 华东师范大学

    分类号: O212.1

    DOI: 10.27149/d.cnki.ghdsu.2019.000141

    总页数: 114

    文件大小: 4723K

    下载量: 51

    相关论文文献

    • [1].有序响应变量的贝叶斯模型选择及其在COPD疾病防治中的应用[J]. 统计研究 2020(03)
    • [2].响应变量随机缺失下超高维模型特征筛选方法[J]. 统计与决策 2017(13)
    • [3].贝叶斯响应变量适应性随机化模拟预测评价方法初探[J]. 中国卫生统计 2020(03)
    • [4].基于多响应变量分析的组织间知识链风险评估[J]. 科技进步与对策 2009(09)
    • [5].响应变量缺失时偏线性测量误差模型的变量选择[J]. 厦门大学学报(自然科学版) 2014(01)
    • [6].非正态响应变量的最优线性预测[J]. 经济数学 2009(03)
    • [7].多个响应变量的纵向数据联合建模方法及应用[J]. 世界科学技术-中医药现代化 2017(09)
    • [8].响应变量缺失下变系数部分线性测量误差模型的约束估计[J]. 数学的实践与认识 2018(08)
    • [9].响应变量缺失下非线性回归模型的加权半参数估计[J]. 数学的实践与认识 2016(24)
    • [10].一种二元响应变量模型的分布式贝叶斯估计方法[J]. 华东理工大学学报(自然科学版) 2017(04)
    • [11].响应变量随机缺失下广义线性模型的经验似然[J]. 陕西师范大学学报(自然科学版) 2015(03)
    • [12].高维回归中的几种变量选择方法[J]. 科学技术创新 2019(30)
    • [13].缺失数据下线性模型中缺失值处理方法的比较[J]. 广西科学 2009(04)
    • [14].二分类响应变量下判别分析与Logistic回归比较[J]. 长春工业大学学报 2019(05)
    • [15].响应变量缺失下线性模型的模型平均[J]. 山东师范大学学报(自然科学版) 2020(02)
    • [16].基于Alpha稳定分布的二元响应变量回归模型[J]. 华东理工大学学报(自然科学版) 2017(01)
    • [17].基于贝叶斯学习的惩罚因子的选择[J]. 统计与决策 2017(14)
    • [18].基于逻辑回归的手机APP付费问题研究[J]. 大众投资指南 2018(09)
    • [19].响应变量随机缺失下部分线性单指标模型的非参数判别检验[J]. 南京信息工程大学学报(自然科学版) 2013(05)
    • [20].响应变量缺失情形下非线性EV模型的估计[J]. 福州大学学报(自然科学版) 2010(04)
    • [21].核实数据下响应变量缺失的线性模型均值估计[J]. 山东大学学报(理学版) 2010(08)
    • [22].自适应临床试验设计的近期进展及展望[J]. 数理统计与管理 2020(04)
    • [23].基于广义线性模型的基因表达水平预测[J]. 大连理工大学学报 2020(01)
    • [24].中国老年多维贫困的测度和致贫因素——基于社区和家庭的分层研究[J]. 经济问题 2016(10)
    • [25].响应变量缺失下变系数部分线性模型的参数估计[J]. 重庆理工大学学报(自然科学) 2017(10)
    • [26].基于产品质量改进的动态多响应稳健性集成建模策略[J]. 统计与决策 2020(21)
    • [27].响应变量缺失下半变系数部分线性EV模型估计的渐进性[J]. 甘肃科学学报 2015(05)
    • [28].函数型非参数回归模型及其在金融中的应用[J]. 滁州学院学报 2016(05)
    • [29].响应变量缺失下部分线性模型均值的稳健估计[J]. 北京工业大学学报 2017(02)
    • [30].响应变量缺失时纵向数据下变系数部分线性测量误差模型的经验似然推断[J]. 山东大学学报(理学版) 2015(11)

    标签:;  ;  ;  ;  ;  ;  ;  

    变量分离算法及多元响应变量回归问题的研究
    下载Doc文档

    猜你喜欢