基于参数估计的张量分解研究

论文摘要

混合模型是指一个大的分布是由多个子分布混合而成,每个子分布可以被认为是一个隐变量,即该变量无法被直接观测到,但又能真切的影响到整体分布中观测变量的取值。混合模型参数估计,即要挖掘该模型中的子分布,根据一定的先验知识对子分布做出假设,并根据实际的样本数据来估计其每一个子分布的参数。传统的混合模型参数估计的求解方法主要分为两类:统计学习类算法和矩估计。统计学习类算法,如期望最大算法(EM,Expectation Maximum),该类算法用极大似然估计的思想,通过“求最大似然”和“求期望”两个步骤进行迭代,逐渐接近最终求解值。该类算法计算简单,但容易陷入局部最优值,因此学者们考虑用矩估计的思想来解决该问题,主要运用张量建模样本矩来近似样本的真实矩。张量是向量矩阵在高维空间的自然扩展,向量只有一行数据(一维数据),矩阵具有行和列(二维数组),张量则是多维数组的形式。张量得益于高维空间的数据结构,可以描述多个变量之间的复杂函数对应关系。本文用张量分解来对混合模型的参数估计问题进行求解,属于矩估计的范畴。根据样本数据求出其二阶和三阶矩,用张量分解的方式,直接求得待估计的参数。本文首先阐述了张量分解、混合模型等基本的概念及张量分解在混合模型参数估计领域的应用。之后,以提高张量分解求解混合模型参数的效率为目的,将传统张量分解算法与“分而治之”的思想相结合,提出了本文的块张量分解算法(PTD,Partitioned Tensor Decomposition),并通过实验详细论证了该算法的有效性。同时,本文又进一步设计并实现了基于Spark平台的PTD算法,使得该算法能够满足工业界应对大规模数据的挑战。本文的主要贡献有以下三个方面:(1)提出了“锚张量”的概念,通过锚张量的共享,将一个大张量划分为几个小的子张量,可以对每个子张量进行并行分解,大大提高了分解的效率。同时通过本文提出的匹配机制,可以将每个子张量的分解结果,精确的合并为待估计的混合模型参数。(2)改进张量分解算法。通过对传统张量分解算法中迭代公式的研究和推导,提出了“负值置0”和“加入极小正值”两个操作,既保证了张量分解结果的非负性,又提高了该算法的鲁棒性。(3)通过Mapreduce机制在Spark平台设计实现并测试了本文的算法。通过对Mapreduce思想的研究,将本文改进的算法PTD在Spark上实现,使得该算法具有应对大数据的能力。实验结果表明,相比于传统的串行算法,本文的改进确实能提高张量分解的效率,能够在保证准确率的基础上,更加高效的进行张量分解,同时,Mapreduce化算法的实现,使得该算法具有应对大数据的能力。

论文目录

文章来源

类型: 硕士论文

作者: 栾桂凯

导师: 周维

关键词: 张量分解,混合模型,并行

来源: 云南大学

年度: 2019

分类: 基础科学

专业: 数学

单位: 云南大学

分类号: O183.2

总页数: 63

文件大小: 4222K

下载量: 14

相关论文文献

• [1].基于混合模型与改进多分类马田系统的控制图模式识别[J]. 中国机械工程 2019(22)
• [2].一种基于六维打分的混合模型业务推荐系统[J]. 福建电脑 2017(03)
• [3].基于贝叶斯分层混合模型的X线胸片图像病例分析[J]. 医疗装备 2020(05)
• [4].广义指数-帕累托(Ⅳ)混合模型[J]. 辽宁师范大学学报(自然科学版) 2018(01)
• [5].多输出支持向量机混合模型在机车调簧中的应用[J]. 华南理工大学学报(自然科学版) 2018(04)
• [6].基于概率分布混合模型的遮挡行人检测算法[J]. 信息技术 2017(01)
• [7].实-壳混合模型温度场计算方法研究"[J]. 热力透平 2017(03)
• [8].尺度变化混合模型中的相对随机序[J]. 西北师范大学学报(自然科学版) 2020(03)
• [9].基于无限学生t混合模型聚类的机械故障预警方法[J]. 北京化工大学学报(自然科学版) 2020(04)
• [10].基于特征选择与随机森林混合模型的社区恶意评论检测研究[J]. 现代计算机 2020(19)
• [11].基于正态混合模型的贝叶斯分类方法及其应用[J]. 应用数学学报 2020(04)
• [12].基于深度混合模型评分推荐[J]. 南京航空航天大学学报 2019(05)
• [13].基于可信计算的群内安全信息共享混合模型[J]. 上海交通大学学报 2014(07)
• [14].基于抽样的正交多项式混合模型图像分割[J]. 小型微型计算机系统 2013(06)
• [15].房地产电子商务交易中的“混合模型”[J]. 现代商业 2008(23)
• [16].改进鲸鱼算法构建混合模型的建筑能耗预测[J]. 计算机测量与控制 2020(02)
• [17].利用机器学习RFID混合模型的运维检修移动作业应用[J]. 现代电子技术 2020(09)
• [18].混合模型下具有动态违约边界的债券定价[J]. 应用概率统计 2019(01)
• [19].多元混合模型及模糊综合评判法在水源判别中的应用研究——以云南会泽铅锌矿为例[J]. 矿产勘查 2019(08)
• [20].一种针对短文本的主题情感混合模型[J]. 中文信息学报 2017(01)
• [21].基于t分布混合模型的抗差关联算法[J]. 电子与信息学报 2017(07)
• [22].基于混合模型的个性化信息推荐系统的关键技术研究[J]. 信息与电脑(理论版) 2015(23)
• [23].基于光谱混合模型的城市绿色空间格局分析——以兰州市为例[J]. 城市问题 2010(02)
• [24].参数混合模型在长期生存者资料分析中的应用[J]. 中国卫生统计 2010(03)
• [25].基于混合模型的数据中心空调系统虚拟制冷剂充注量传感器[J]. 制冷技术 2019(06)
• [26].斜长石、辉石混合模型的电导率有限元数值计算研究[J]. 地球物理学报 2018(09)
• [27].有向网络的混合模型新退火算法研究[J]. 中国科学技术大学学报 2018(06)
• [28].基于修正矩阵的刚柔混合模型公差分析方法[J]. 组合机床与自动化加工技术 2017(07)
• [29].增长混合模型:分析不同类别个体发展趋势[J]. 社会学研究 2014(04)
• [30].遗传K-均值初始化的t混合模型医学图像聚类[J]. 计算机应用研究 2010(08)

标签：张量分解论文;  混合模型论文;  并行论文;