基于黎曼流形优化的数据降维表达及应用

论文摘要

大数据时代,计算机和多媒体技术迅速发展,每时每刻都在生成大量的图像和视频数据。面对如此海量的数据,不仅有效识别它们已经成为一项巨大挑战,甚至简单的存储和读取都会存在困难。数据降维表达是解决数据存储、读取及识别等问题的一种重要手段。因此数据降维表达已成为人们广泛关注的课题,并取得了丰硕成果。传统的数据降维表达方法主要是基于欧氏空间进行建模和优化。在欧氏空间中处理一些具有约束的问题常常使用拉格朗日法或贪婪算法,而这些方法往往会导致次优解的生成。为了在数值计算中获得更精确的数值解,黎曼流形优化开辟了一个新的方向。采用黎曼流形优化有两个显著的优势:第一,对于许多具有黎曼几何结构约束的优化问题,通过黎曼流形上的优化可以更好地利用约束空间的几何结构,转化为黎曼流形上的无约束优化问题,从而获得更精确的数值解。第二,通过引入适当的度量,可以将某些欧氏空间中的非凸问题转化为黎曼流形上的凸问题,进而改善数值计算方法,获得全局最优解。鉴于黎曼流形优化的优势,本文研究黎曼流形上数据降维模型的建立和优化问题。论文的主要创新性工作包括以下几个方面:第一,针对黎曼流形优化算法使用函数一阶信息收敛速度慢的问题,本文提出黎曼流形上的加速优化算法(Fast Optimization Algorithm,FOA),并在理论上证明了该策略的函数值序列具有的收敛率。另外,针对低秩表示问题,本文提出了基于黎曼流形的増广拉格朗日法,并使用快速优化算法进行优化。实验结果表明,黎曼流形上的快速优化算法确实起到加速效果,同时,黎曼流形上低秩表示获得较高的聚类正确率。第二,针对偏最小二乘回归问题,现有方法都是在欧氏空间中建模和优化。对偏最小二乘回归因子的正交约束或者广义正交约束,通常都是采用贪婪算法逐列求解,这常常只能获得次优解。为了克服这一缺点,本文提出了黎曼流形上的偏最小二乘回归模型及优化算法,该算法对偏最小二乘因子进行整体优化,获得更精确的数值解。此外,为了避免过拟合问题,提出黎曼流形上的稀疏偏最小二乘回归模型,并将其应用到图像分类问题。实验结果表明,与同类回归方法相比,本文提出的黎曼流形优化模型和算法具有最高的分类正确率。第三,针对具有拉普拉斯噪声图像特征降维表达,基于欧氏空间的方法都是通过极大化低维特征方差矩阵的L1范数进行建模,然后采用贪婪算法优化,贪婪算法虽然计算复杂度低,但往往导致生成次优解。因此,本文将投影矩阵的正交性约束看作乘积流形,提出乘积流形空间上的L1范数的二维主成分分析模型,对投影矩阵进行整体优化,获得更精确的数值解。实验结果证明,和同类降维方法相比,使用乘积流形上的降维模型和优化方法,能够更好的去噪和提取特征。第四,针对主成分分析只考虑了数据特征的线性相关性,而高维数据特征之间常常具有非线性相关性。为了解决这个问题,本文提出一种基于深度参数化学习的最大相关主成分分析模型,该模型利用深度参数化框架,将具有非线性相关的数据特征映射为线性相关性特征,再进行主成分分析降维。并进一步推导出模型的学习算法。实验结果表明,与常用的线性和非线性降维算法相比,本文提出的算法在模拟数据集和几个真实数据集上都获得了较好的识别率。

论文目录

摘要

Abstract

第1章绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.2.1 黎曼流形上的优化算法

1.2.2 数据降维表达

1.2.2.1 基于主成分分析的降维表达

1.2.2.2 基于最大相关主成分分析的降维表达

1.2.2.3 基于偏最小二乘回归的降维表达

1.3 本文主要工作及章节安排

第2章黎曼流形上的快速优化算法及其在低秩学习中的应用

2.1 引言

2.2 预备知识

2.2.1 黎曼流形

2.2.2 低秩矩阵曲体

2.3 黎曼流形上的一阶快速优化算法

2.4 快速优化算法在低秩表示模型中的应用

2.5 实验结果和分析

2.5.1 低秩矩阵填充

2.5.2 图像聚类实验

2.5.3 视频聚类实验

2.6 本章小结

第3章偏最小二乘回归的流形优化模型

3.1 引言

3.2 预备知识

3.2.1 基本概念

3.2.2 SIMPLSR模型

3.3 基于流形优化的SIMPLSR模型

3.3.1 广义Grassmann流形上的SIMPLSR模型

3.3.2 乘积流形上的SIMPLSR模型

3.4 广义Stiefel流形上的稀疏SIMPLSR模型

3.5 复杂度分析

3.6 实验结果和分析

3.6.1 图像分类实验

3.6.2 图像集和视频分类实验

3.7 本章小结

第4章乘积流形上的L1范数二维主成分分析模型

4.1 引言

4.2 传统L1-2DPCA模型

4.3 流形上的L1-2DPCA模型

4.3.1 乘积流形上的L1-2DPCA模型

4.3.2 乘积流形上的L1-2DPCA模型优化

4.4 实验结果和分析

4.4.1 数据准备

4.4.2 图像重构实验

4.4.3 图像识别实验

4.5 本章小结

第5章基于深度参数化的最大相关主成分分析模型

5.1 引言

5.2 最大相关主成分分析

5.3 基于深度参数化的最大相关主成分分析

5.3.1 模型的描述

5.3.2 模型的优化

5.3.3 复杂度分析

5.4 实验结果和分析

5.4.1 数据准备

5.4.2 参数设置

5.4.3 实验结果分析

5.5 本章小结

结论与展望

参考文献

附录

攻读博士学位期间取得的研究成果

致谢

文章来源

类型: 博士论文

作者: 陈浩然

导师: 孙艳丰

关键词: 黎曼流形,流形,乘积流形,快速优化算法,偏最小二乘回归,最大相关主成分分析,降维

来源: 北京工业大学

年度: 2019

分类: 基础科学,信息科技

专业: 数学,计算机软件及计算机应用

单位: 北京工业大学

分类号: TP311.13;O186.12

DOI: 10.26935/d.cnki.gbjgu.2019.000193

总页数: 109

文件大小: 5344K

下载量: 113

基于黎曼流形优化的数据降维表达及应用

论文摘要

论文目录

文章来源

相关论文文献

猜你喜欢