导读:本文包含了自然梯度论文开题报告文献综述及选题提纲参考文献，主要关键词:盲源分离,自然梯度算法,步长,小波去噪
自然梯度论文文献综述
徐林涛[1]（2019）在《基于改进自然梯度算法的盲源分离研究》一文中研究指出盲源分离是信号处理领域中一种新发展起来的对未知混合信号分离的方法。经过几十年来不断地研究和发展,盲源分离已经成为众多学科领域研究的热门课题,具有很多潜在的应用价值,已经被广泛地应用于很多领域。二十一世纪以来,盲源分离的研究方向主要分为两个方面,一面是解决卷积混合问题和欠定问题等,另一方面是优化分离算法和提高算法的分离性能等。本文对盲源分离理论进行了深入的研究,着重研究了自然梯度算法,针对算法存在的缺陷,提出了改进的盲源分离算法。对于含噪盲源分离,通过引入动量因子对算法作进一步的改进,并结合小波去噪原理,构造了基于小波去噪和改进自然梯度的盲源分离算法。自然梯度算法是盲源分离中常用且重要的方法,具有较快的收敛速度和良好的分离性能。由于标准自然梯度算法采用的是固定步长,所以存在着收敛速度和稳态误差之间的固有矛盾,并且其码间干扰的收敛速度很慢。当步长较大时,虽然收敛速度快,但其稳态误差较大;当步长较小时,虽然稳态误差较小,但其收敛速度比较慢,不能迅速跟踪系统变化。针对上述问题,提出一种改进的自然梯度算法。首先,构造一个步长迭代更新函数,实现算法中步长的自适应选取。然后对改进算法进行Frobenius范数约束,从而加快码间干扰的收敛速度。最后通过实验仿真验证了算法的有效性,实验结果表明所提算法的收敛速度较快同时稳态误差较小,具有更好的分离性能。在实际的应用环境中,所获取到的混合信号中通常都含有噪声信号。经过研究表明,许多的盲源分离算法,如FastICA、EASI和近似联合对角化等算法,在含有噪声的情况下,算法的分离效果会严重下降,甚至不能有效地分离出源信号。对于含噪盲源分离,为了提高算法的分离效果和稳定性,需要对混合信号进行去噪处理。由于小波去噪方法具有非常好的去噪效果,而且其数学模型较为简单,对源信号的先验信息要求较低,所以本文选择小波半软阈值对含噪信号进行去噪处理。为了提高分离性能,通过引入动量因子对自然梯度算法进一步的改进,通过性能指标的反馈自适应的调整步长因子和动量因子。在含噪声信号的情况下,构造了一种基于小波去噪和改进自然梯度相结合的盲源分离方法。通过仿真实验,由各项性能评价指标的数据表明,本文所改进的自然梯度算法比其他几种算法的分离性能更好,并且算法的抗噪性和稳定性更好。(本文来源于《湘潭大学》期刊2019-06-01）
谢继[2]（2019）在《基于自然梯度的统计模型的优化方法的研究》一文中研究指出分类与回归问题作为机器学习的两类主要问题,解决它们的主要方法是建立相应的含参统计模型,根据观测的样本数据进行训练得到最优模型,进而建立相应的分类器和拟合器。线性分类主要采取逻辑斯蒂回归模型,非线性分类和回归任务主要采取神经网络模型。训练这几种模型最流行的方法是随机梯度下降算法。然而,梯度下降算法仅仅利用了函数的一阶信息,同时由于神经网络具有高度非凸的性质,误差曲面有很多平原区域,使得训练过程经常是缓慢的,需要考虑更先进的算法。自然梯度算法可以通过有效地避开函数的平原区域来解决这个问题。实施自然梯度算法,需要计算信息矩阵和它的逆矩阵。当模型拥有很多参数的时候,计算自然梯度方向需要庞大的计算量以及存储代价。传统上,信息矩阵的定义是梯度向量的外积的期望,矩阵的元素个数是梯度向量个数的平方。保留参数是矩阵的形式,可以建立一种新的自然梯度算法,称之为简化自然梯度算法。由于简化自然梯度算法不稳定,本文对它加以改进,称为简化自适应自然梯度算法,这个算法需要更少的计算量以及存储空间相比简化自然梯度,并且根据实验表明,收敛速度甚至超过动量梯度下降。本文的主要内容总结如下:1.阐述了自然梯度算法的来源。通过从概率分布的度量,也就是KL散度,贝叶斯观点,Cramer-Rao下界,以及白化参数空间导出自然梯度算法,这些观点都说明了自然梯度算法是最快的随机梯度算法。另外总结了已有的实用的自然梯度算法,也就是如何计算信息矩阵以及它的逆矩阵,并且探讨了自然梯度算法收敛迅速的原因。2.介绍了简化自适应自然梯度算法。该算法是对简化自然梯度算法的改进。简化自然梯度算法的出发点是把参数保留成矩阵的形式,达到减少计算量的目的,由于采用的经验块信息矩阵容易缺秩,因此在算法的后期表现出震荡不收敛,同时算法前期误差几乎不下降。简化自适应自然梯度算法采用真实的块信息矩阵作为缩放矩阵,通过实验表明,误差下降很快,并且算法后期平稳地加速收敛。3.给出了简化自适应自然梯度算法在几种模型上的的具体实施,以及从理论上说明了该算法的可行性,同时给出算法的计算复杂度,远远小于已有的二阶方法。最后给出了算法的进一步改进,通过考虑进动量项,加速算法收敛。(本文来源于《电子科技大学》期刊2019-03-22）
朱广龙,陈许兵,郭小倩,焦秀荣,周桂生[3]（2018）在《酸枣根系结构可塑性对自然梯度干旱生境的适应机制》一文中研究指出根系是植物吸收水分和养分的主要器官,是直接接触土壤最先感受土壤逆境胁迫的部位。在干旱环境中,植物根系的结构特征必定发生改变以维持正常的生物机能而生存。目前,关于根系解剖结构的研究大多集中于根系的某一特定结构对单一逆境因子的响应。以生长在烟台-石家庄-银川-吐鲁番不同地域气候条件形成的自然梯度干旱环境中的酸枣为试验材料,应用植物显微技术研究酸根系结构的可塑性对不同自然梯度干旱环境的适应机制,结果表明:酸枣根的初生结构包括表皮、皮层和维管柱,表皮位于幼根的最外层,由单层体积较小、紧密排列的表皮细胞组成。皮层占根初生结构的大部分比例,由体积较大的多层薄壁细胞组成,薄壁细胞近似圆球形,数目众多,呈环形分布。维管柱位于最内层,细胞小而密集,由中柱鞘、初生木质部、初生韧皮部及薄壁细胞组成。随生境干旱加剧,酸枣根初生结构表皮细胞的厚度和宽度逐渐增加,皮层薄壁细胞的厚度和宽度、皮层薄壁细胞层数和皮层厚度均以宁夏银川样地的最大。酸枣根的次生结构包括周皮(木栓层、木栓形成层、栓内层)和次生维管组织(次生韧皮部、维管形成层和次生木质部)。从烟台至新疆吐鲁番随生境干旱加剧,酸枣植株根系周皮逐渐加厚、致密度提高。次生木质部中,导管的数量增加,管径增大。干旱环境中,酸枣植株根系结构上的变化一方面提高了吸水能力和输水效率,另一方面增强了保水能力,减少水分散失,这可能是其适应干旱逆境的机制之一。(本文来源于《生态学报》期刊2018年16期）
朱广龙,陈许兵,Irshad,Ahmad,刘家玮,智文芳[4]（2018）在《酸枣根系导管结构的可塑性对自然梯度干旱生境的适应机制》一文中研究指出根系导管是植物吸收和输送水分的主要通道,导管的结构将最终决定其导水功能和效率,研究导管结构的可塑性是理解植物对干旱梯度适应机制的关键。以采自烟台-石家庄-银川-吐鲁番形成的自然梯度干旱生境中生长的酸枣植株为试验材料,采用离析法和植物显微技术,探究酸枣根次生木质部导管对梯度干旱生境适应的结构特征和机制。结果表明:酸枣根系次生木质部导管有6种类型,不同生境中同种导管的数量和形态差异较大。根据管尾情况可将导管分为叁类:无尾型、一端有尾型和两端有尾型导管,且在结构上表现出特定的适应特征及规律。从烟台至吐鲁番随干旱加剧,根系中网纹导管管壁加厚,管尾变短;孔纹导管长度、宽度、直径减小,壁厚增加,管尾变长;螺纹导管长度变小,管壁变薄,管尾变短;梯纹导管长度、宽度和直径均降低,从无尾型向有尾型转变;木纤维长度、宽度变小,管壁变薄,管尾加长。与烟台样地的导管相比,石家庄、银川和吐鲁番样地的孔纹导管长度分别减小了17.63%、11.23%和7.67%;螺纹导管的管壁分别减小了20.2%、11.4%和14.6%;梯纹导管的长度和宽度分别减小了29.1%、37.6%、31.4%和20.7%、48.5%、28.6%;木纤维的长度分别减小了0.7%、1.5%和2.6%,宽度减小了2.2%、4.7%和5.4%,管壁厚度减小了33.2%、29.3%和22.1%。说明酸枣植株根系导管的可塑性较大,导管形态和结构的变化利于水分和养分的高效吸收和转运。导管长度、管壁和管尾的变化增强了根系的韧性和伸展能力,利于根系深扎、吸收深层土壤中的水分并快速补充植株在干旱环境中的蒸腾散失,从而适应干旱生境,保证植株的正常生长和代谢。(本文来源于《土壤学报》期刊2018年03期）
杨海涛[5]（2018）在《盲信源分离自然梯度算法的仿真》一文中研究指出采用典型的自然梯度算法对盲信源分离进行仿真,通过仿真结果对自适应步长的大小对串音误差曲线的收敛速度以及稳定性的影响进行分析.并根据结果通过文献调研对峭度自适应学习率算法以及EASI算法进行了仿真和讨论,并与传统的自然梯度算法进行了比较和分析.(本文来源于《内蒙古民族大学学报(自然科学版)》期刊2018年02期）
丁文春,张杭[6]（2017）在《优化搜索方向的自然梯度盲分离算法》一文中研究指出针对经典自然梯度算法收敛速度慢的问题,文章提出了一种梯度搜索方向优化的自然梯度盲分离算法。首先设计了非线性函数,采用非线性函数对梯度矩阵的各个元素进行加权处理,优化算法迭代的搜索方向,使其更加贴近目标函数实际的变化方向。与分级迭代变步长的自然梯度算法和梯度优化的EASI算法相比,该算法进一步提高了收敛速度和分离精度。(本文来源于《军事通信技术》期刊2017年02期）
师晨旭[7]（2017）在《自然梯度盲信号分离算法的研究》一文中研究指出盲信号分离技术起源于20世纪90年代,解决的是在源信号与传输信道均未知的条件下,只能利用观测信号估计出相互统计独立的源信号的问题。盲信号分离模型具有通用性,在雷达、无线通信、图像处理、语音信号处理和医学领域有着广泛的应用。对比函数优化是解决线性瞬时混合盲信号分离问题的一种主要思路。该方法通过找到一个能够测度分离系统输出的随机向量的统计独立性的对比函数,接着用优化算法找到该函数的最大/小值,得到分离矩阵从而恢复源信号。自然梯度盲信号分离算法是一种经典的对比函数优化方法,它通过自适应更新得到分离矩阵,迭代公式形式简单、计算量小且可以跟踪环境的变化。自然梯度盲分离算法作为在线自适应算法的一种,其性能指标存在步长和激励函数两种影响因素。为了有效提高算法性能,本文对步长的选择和激励函数的估计进行了改进。自适应变步长能够有效缓解收敛速度与稳态误差存在的矛盾,基于此,本文提出了一种基于分级迭代变步长算法。仿真实验结果表明,该算法具有高速收敛的同时稳态误差也较小。在自然梯度盲信号分离中,估计的激励函数的精确度直接影响算法的收敛。针对此问题,采用一种函数逼近激励函数的方法加快算法收敛速度。通过一组正交基线性组合逼近激励函数,均方误差作为逼近程度的测度,正交基的组合系数可以由自适应学习均方误差最小获得。仿真实验证明无论是对于同系混合信号还是杂系混合信号该方法都具有较快的收敛速度。(本文来源于《河南理工大学》期刊2017-06-16）
朱斐,朱海军,刘全,陈冬火,伏玉琛[8]（2018）在《一种解决连续空间问题的真实在线自然梯度AC算法》一文中研究指出策略梯度作为一种能够有效解决连续空间决策问题的方法得到了广泛研究,但由于在策略估计过程中存在较大方差,因此,基于策略梯度的方法往往受到样本利用率低、收敛速度慢等限制.针对该问题,在行动者-评论家(actor-critic,简称AC)算法框架下,提出了真实在线增量式自然梯度AC(true online incremental natural actor-critic,简称TOINAC)算法.TOINAC算法采用优于传统梯度的自然梯度,在真实在线时间差分(true online time difference,简称TOTD)算法的基础上,提出了一种新型的前向观点,改进了自然梯度行动者-评论家算法.在评论家部分,利用TOTD算法高效性的特点来估计值函数;在行动者部分,引入一种新的前向观点来估计自然梯度,再利用资格迹将自然梯度估计变为在线估计,提高了自然梯度估计的准确性和算法的效率.将TOINAC算法与核方法以及正态策略分布相结合,解决了连续空间问题.最后,在平衡杆、Mountain Car以及Acrobot等连续问题上进行了仿真实验,验证了算法的有效性.(本文来源于《软件学报》期刊2018年02期）
张延良,师晨旭,张伟涛,李兴旺[9]（2017）在《基于分级迭代变步长的自然梯度盲源分离算法》一文中研究指出自然梯度算法是处理盲源分离问题的一个重要方法。自然梯度算法的分离速度与稳态性能之间存在矛盾,步长增大收敛速度加快,但是稳态误差随之增大。自适应变步长算法是解决收敛速度与稳态误差之间的矛盾的有效手段。基于原有自适应算法,提出了一种分级迭代变步长算法,更好地解决了算法存在的收敛速度与稳态误差的矛盾。仿真结果表明,该算法具有更快的分离速度和更好的稳态性能。(本文来源于《测控技术》期刊2017年01期）
朱广龙,魏学智[10]（2016）在《酸枣叶片结构可塑性对自然梯度干旱生境的适应特征》一文中研究指出叶片是植物体暴露于环境中面积最大的器官,其最易感知环境变化而发生形态和结构上的改变。为探究植株叶片结构对不同生境的适应机理,研究以生长在烟台-石家庄-宁夏-新疆不同地域气候条件形成的自然梯度干旱环境中的酸枣为试验材料,应用植物显微技术研究酸枣叶片的结构的可塑性对不同自然梯度干旱环境的适应特征。结果表明:酸枣叶表皮着生有表皮毛,表皮细胞外覆有角质层与蜡质。叶肉为全栅型,栅栏组织发达,海绵组织退化,叶肉中有晶体及大量的分泌细胞。从烟台至新疆随生境梯度干旱加剧,酸枣叶片叶面积逐渐变小,叶片厚度依次增加,叶表皮角质层加厚,且上角质层厚度大于下角质层厚度;叶片上下表皮细胞长径及短径先增后降,栅栏组织总厚度和密度依次增大、层数减少,各层栅栏组织细胞的长径逐渐增加。叶脉薄壁细胞相对厚度逐渐减小,导管管径增大,晶体(草酸钙晶体)数增多。在梯度干旱环境中酸枣植株通过减小叶面积、提高栅栏组织密度、增加叶片及角质层厚度降低蒸腾作用,减少水分散失;通过增大导管管径提高水分利用率;通过增加晶体数量提高叶片机械性能,改变细胞的渗透势、提高吸水和保水能力。上述叶片结构的变化是酸枣植株长期对不同自然梯度干旱生境的适应特征。由此可知,叶片形态结构中叶面积、叶片厚度、角质层及叶肉组织(栅栏组织)随环境变化的可塑性较大。(本文来源于《生态学报》期刊2016年19期）
自然梯度论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
分类与回归问题作为机器学习的两类主要问题,解决它们的主要方法是建立相应的含参统计模型,根据观测的样本数据进行训练得到最优模型,进而建立相应的分类器和拟合器。线性分类主要采取逻辑斯蒂回归模型,非线性分类和回归任务主要采取神经网络模型。训练这几种模型最流行的方法是随机梯度下降算法。然而,梯度下降算法仅仅利用了函数的一阶信息,同时由于神经网络具有高度非凸的性质,误差曲面有很多平原区域,使得训练过程经常是缓慢的,需要考虑更先进的算法。自然梯度算法可以通过有效地避开函数的平原区域来解决这个问题。实施自然梯度算法,需要计算信息矩阵和它的逆矩阵。当模型拥有很多参数的时候,计算自然梯度方向需要庞大的计算量以及存储代价。传统上,信息矩阵的定义是梯度向量的外积的期望,矩阵的元素个数是梯度向量个数的平方。保留参数是矩阵的形式,可以建立一种新的自然梯度算法,称之为简化自然梯度算法。由于简化自然梯度算法不稳定,本文对它加以改进,称为简化自适应自然梯度算法,这个算法需要更少的计算量以及存储空间相比简化自然梯度,并且根据实验表明,收敛速度甚至超过动量梯度下降。本文的主要内容总结如下:1.阐述了自然梯度算法的来源。通过从概率分布的度量,也就是KL散度,贝叶斯观点,Cramer-Rao下界,以及白化参数空间导出自然梯度算法,这些观点都说明了自然梯度算法是最快的随机梯度算法。另外总结了已有的实用的自然梯度算法,也就是如何计算信息矩阵以及它的逆矩阵,并且探讨了自然梯度算法收敛迅速的原因。2.介绍了简化自适应自然梯度算法。该算法是对简化自然梯度算法的改进。简化自然梯度算法的出发点是把参数保留成矩阵的形式,达到减少计算量的目的,由于采用的经验块信息矩阵容易缺秩,因此在算法的后期表现出震荡不收敛,同时算法前期误差几乎不下降。简化自适应自然梯度算法采用真实的块信息矩阵作为缩放矩阵,通过实验表明,误差下降很快,并且算法后期平稳地加速收敛。3.给出了简化自适应自然梯度算法在几种模型上的的具体实施,以及从理论上说明了该算法的可行性,同时给出算法的计算复杂度,远远小于已有的二阶方法。最后给出了算法的进一步改进,通过考虑进动量项,加速算法收敛。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
自然梯度论文参考文献
[1].徐林涛.基于改进自然梯度算法的盲源分离研究[D].湘潭大学.2019
[2].谢继.基于自然梯度的统计模型的优化方法的研究[D].电子科技大学.2019
[3].朱广龙,陈许兵,郭小倩,焦秀荣,周桂生.酸枣根系结构可塑性对自然梯度干旱生境的适应机制[J].生态学报.2018
[4].朱广龙,陈许兵,Irshad,Ahmad,刘家玮,智文芳.酸枣根系导管结构的可塑性对自然梯度干旱生境的适应机制[J].土壤学报.2018
[5].杨海涛.盲信源分离自然梯度算法的仿真[J].内蒙古民族大学学报(自然科学版).2018
[6].丁文春,张杭.优化搜索方向的自然梯度盲分离算法[J].军事通信技术.2017
[7].师晨旭.自然梯度盲信号分离算法的研究[D].河南理工大学.2017
[8].朱斐,朱海军,刘全,陈冬火,伏玉琛.一种解决连续空间问题的真实在线自然梯度AC算法[J].软件学报.2018
[9].张延良,师晨旭,张伟涛,李兴旺.基于分级迭代变步长的自然梯度盲源分离算法[J].测控技术.2017
[10].朱广龙,魏学智.酸枣叶片结构可塑性对自然梯度干旱生境的适应特征[J].生态学报.2016