基于张量网络的机器学习模型

论文摘要

强关联电子体系一直是凝聚态领域近半个世纪以来的中心问题之一。很多有趣而尚待深入理解的现象都与之息息相关,例如高温超导,莫特绝缘体,分数化激发,自旋液体等。它的本质困难在于其不可用微扰论、平均场等方法做单体近似的相互作用。不可忽略的强相互作用使得一般的多体波函数需要通过单体波函数的直积来构造。这样的构造办法将使希尔伯特空间的维度随着系统尺寸指数地往上涨,很快超过现实计算机能够承受的范围。研究多体波函数,近似是必要的,在单体近似不可用的情况下,基于系统局域性近似的密度矩阵重正化与张量网络重正化方法成为一种实际有效的量子多体数值算法。近年来,物理学家开始注意到机器学习领域面临着类似的挑战。图片的构型空间随着图片的尺寸指数增长,机器学习模型需要利用有限参数的模型近似给定自然图片集在构型空间中的特征分布。这与多体波函数建模的思想是一致的。因此,通过对两个领域的深入比较和研究,我们期待物理算法可以为机器学习领域带来更多可解释性的学习理论及模型,同时机器学习模型也将可能为物理学研究带来全新的方法。具体来说,两者的比较研究可分为数据,模型及算法三部分。数据部分检验量子波函数与经典自然图片的复杂性是否一致。寻找自然图片集近似的理论依据,为机器学习的成功提供物理解释,同时也为将量子算法应用于自然图片集提供了动机。模型部分考察传统的机器学习模型,例如概率图模型等,是否与量子多体的模型,例如张量网络等,存在对应关系。是否可将张量网络算法作为概率图算法的拓展,如何基于张量网络构造量子机器学习算法。算法部分通过构造实际可计算的新模型,研究常见的多体算法如DMRG等,是否可以用于对自然图片的建模。机器学习中的方法,如后向反馈等,是否可以进一步优化现有的量子多体算法。以下是本文的具体安排:在第一章我们首先分别对张量网络态与机器学习特别是生成型学习做必要的介绍。包括张量网络态所依赖的面积律,常见的张量网络态如矩阵乘积态,树状张量网络,投影纠缠对态等;常见的张量网络算法,如重整化算法,变分算法等;机器学习的常见范式,如监督学习,非监督学习,判别型学习与生成型学习等;常见的监督学习模型与生成型学习模型等。我们还会简要讨论机器学习算法成功的原因及机器学习领域研究的问题与量子多体领域研究的问题的相似性。在第二章,我们首先从信息论的角度考察张量网络态处理机器学习问题的动机与可行性。具体来说,我们指出量子态中的Renyi熵与经典图片的互信息之间形式上的相似性。我们估算了图片集的互信息,发现自然图片集的互信息远小于其理论上界。表明自然图片的特征分布是一种可有效近似的函数。通过构造只有近邻连接的限制玻尔兹曼机,我们指出自然图片集的关联由近邻关联占主导,同时又少量稀疏的长程关系。这暗示着基于局域性近似的张量网络模型是适用于自然图片集的。同时,我们也发现张量网络与概率图模型有着密切的对应关系。我们给出了限制玻尔兹曼机与矩阵乘积态的严格映射。在第三章,我们将对基于张量网络的监督学习算法做一个简要的回顾。我们会介绍张量网络在监督学习算法中使用到的各种模型,算法,图片到张量网络的映射方法,张量网络监督学习算法现有的结果及其未来可能的发展方向。除此之外,我们还会在这一章讨论张量网络态与机器学习中的概率图模型与因子图模型的对偶关系。在第四章,基于对前述自然图片集局域性的观察与验证,我们尝试用最简单的张量网络,也就是矩阵乘积态与矩阵乘积算符来优化在分类监督学习中非常成功的残差神经网络和Dense网络。我们用矩阵乘积算符代替这些深层网络中的全连接层。这样做之后,整个学习模型的参数个数可以显著下降,同时模型的学习效果几乎不受任何影响。这也表明了机器学习模型中绝大多数刻画长程关联的连接是完全冗余的。第五章我们将张量网络应用于无监督的生成型学习,我们在前面矩阵乘积态生成型学习模型的基础上,提出了基于树状张量网络的生成型模型。树状张量网络模型可以保有矩阵乘积态模型的所有优点,同时可以实现二维化建模。同时模型学习的效率不受图片尺寸的影响。对相同的数据集,将二值化MNIST数据集的test NLL降到了更低。把基于张量网络的生成型模型往前继续推进了一步。第六章我们将对这个新兴领域做一个总结与展望。重点将探讨1,基于张量网络的生成型模型的未来发展潜力与具体的发展方向。2,基于张量网络的机器学习对量子机器学习的启发。3,张量网络算法在除图片以外的其它类型机器学习问题中的前景。4,机器学习算法在未来对包括传统张量网络在内的各种量子多体算法可能带来的改进与优化。

论文目录

摘要

abstract

第1章引言

1.1 量子多体物理的指数墙与面积律

1.2 张量表示与张量网络

1.2.1 张量表示

1.2.2 张量网络态

1.2.3 张量网络算法

1.3 信息与机器学习

1.3.1 机器学习简介

1.3.2 机器学习在自然图片上的成功

1.3.3 当量子物理遇上机器学习

1.4 基于张量网络的机器学习算法

1.5 本论文的安排

第2章从信息的角度看经典与量子的概率建模

2.1 介绍

2.1.1 统计物理启发的玻尔兹曼机

2.1.2 量子物理启发的玻恩机

2.1.3 信息与机器学习中的概率建模问题

2.2 经典与量子信息量的关系

2.2.1 经典互信息与量子纠缠熵

2.2.2 经典与量子两种信息度量方式的相似性

2.3 基于限制玻尔兹曼机的概率建模

2.3.1 经典互信息在RBM中的上界

2.3.2 量子纠缠熵在RBM中的上界

2.4 MNIST数据集的信息特性及其对生成型建模的影响

2.4.1 MNIST数据集的经典互信息

2.4.2 MNIST数据集诱导的量子纠缠熵

2.4.3 利用数据集的信息指导生成型学习的模型设计

2.4.4 学习效果与模型捕获的信息的关系

2.5 小结

第3章张量网络在监督学习中的应用

3.1 简介

3.2 图模型与张量网络对偶

3.3 数据预处理

3.3.1 图片的张量积表示

3.3.2 利用约化密度矩阵对图片进行特征提取

3.4 监督学习的目标

3.5 模型

3.5.1 MPS监督学习模型

3.5.2 TTN监督学习模型

3.5.3 利用TTN进行特征提取的MPS模型

3.5.4 广义张量网络模型

3.6 训练算法

3.6.1 基于梯度下降的扫描算法

3.6.2 基于变分张量网络态的更新算法

3.7 数值结果

3.7.1 MNIST数据集

3.7.2 fashion-MNIST数据集

3.7.3 CIFAR-10数据集

3.8 小结

第4章矩阵乘积算符对深层神经网络中的优化

4.1 深度学习简介

4.2 矩阵乘积算符与深度学习的结合

4.2.1 矩阵乘积算符简介

4.2.2 全连接层权重矩阵的MPO表示

4.2.3 相关工作简介

4.3 MNIST数据集上的数值结果

4.3.1 MNIST数据集

4.3.2 MPO in FC2

4.3.3 MPO in LeNet5

4.4 CIFAR-10数据集上的数值结果

4.4.1 MPO in VGG

4.4.2 MPO in ResNet

4.4.3 MPO in DenseNet

4.5 小结与讨论

第5章张量网络在无监督生成型学习中的应用

5.1 介绍

5.2 MPS生成型模型

5.2.1 MPS模型的结构

5.2.2 MPS模型的算法

5.2.3 MPS模型的数值结果

5.2.4 MPS模型的优势与不足

5.3 TTN模型的结构

5.3.1 数据分布和最大似然度学习

5.3.2 生成型模型中的树状因子图

5.3.3 树状张量网络生成型模型

5.4 TTN模型的算法

5.4.1 数据表示

5.4.2 树状张量网络的训练算法

5.4.3 树状张量网络的直接抽样生成算法

5.5 TTN模型上的数值实验

5.5.1 随机数据集

5.5.2 二值化MNIST数据集

5.6 小结和讨论

第6章总结与展望

参考文献

作者简历

已发表（或正式接受）的学术论文:

致谢

文章来源

类型: 博士论文

作者: 程嵩

导师: 向涛

关键词: 张量网络,张量网络重整化群,机器学习,监督学习,生成型学习,概率图模型,因子图

来源: 中国科学院大学(中国科学院物理研究所)

年度: 2019

分类: 基础科学,信息科技

专业: 数学,物理学,自动化技术

单位: 中国科学院大学(中国科学院物理研究所)

分类号: TP181;O469;O151.21

总页数: 148

文件大小: 10549K

下载量: 636

基于张量网络的机器学习模型

论文摘要

论文目录

文章来源

相关论文文献

猜你喜欢