导读:本文包含了分布式并行优化论文开题报告文献综述、选题提纲参考文献及外文文献翻译，主要关键词:分布式,算法,数据库,偏差,电压,优化配置,能量。
分布式并行优化论文文献综述
孙旻,余愿,曾伟,彭春华[1]（2019）在《考虑主动管理的配电网分布式光伏并行优化配置》一文中研究指出主动管理技术的快速发展为分布式光伏发电大规模接入配电网提供了可能。本文将主动管理与分布式光伏优化配置相结合,以分布式光伏的安装位置、容量和主动管理措施为决策变量,建立以分布式光伏能量渗透率最大和电压偏差最小为目标函数的优化配置模型;利用基于二分K-均值聚类的多场景分析法处理光伏出力和负荷的不确定性及时序特性,克服了K-均值聚类场景缩减对初始质心选取敏感的缺陷;提出基于并行计算的多场景分析和多目标分子微分进化算法对优化模型进行求解,可高效得到配电网分布式光伏最优配置方案及主动管理策略。最后以IEEE33节点配电系统为例考虑主动管理进行分布式光伏优化配置,仿真结果表明所提优化配置方法可有效提高分布式光伏消纳量并保证供电质量。(本文来源于《2018年江西省电机工程学会年会论文集》期刊2019-04-01）
余红蕾[2]（2019）在《求解大规模优化问题的分布式并行方法》一文中研究指出针对大规模的优化问题,提出一种复杂度低且能快速收敛的分布式并行方法。由于计算Hessian矩阵及其逆矩阵会带来巨大的计算和存储开销,利用内点法或牛顿法求解大规模问题并不可行;大规模优化问题通常采用基于梯度或基于分解的方法进行求解。传统的方法具有较高的复杂度的算法,因此笔者提出了一种新的具有更快收敛速度的原对偶方法,每次迭代仅需要进行简单的梯度更新,从而降低复杂度。(本文来源于《信阳农林学院学报》期刊2019年01期）
孙旻,余愿,曾伟,彭春华[3]（2019）在《考虑主动管理的配电网分布式光伏并行优化配置》一文中研究指出主动管理技术的快速发展为分布式光伏发电大规模接入配电网提供了可能。将主动管理与分布式光伏优化配置相结合,以分布式光伏的安装位置、容量和主动管理措施为决策变量,建立以分布式光伏能量渗透率最大和电压偏差最小为目标函数的优化配置模型;利用基于二分K-均值聚类的多场景分析法处理光伏出力和负荷的不确定性及时序特性,克服K-均值聚类场景缩减对初始质心选取敏感的缺陷;提出基于并行计算的多场景分析和多目标分子微分进化算法对优化模型进行求解,得到配电网分布式光伏最优配置方案及主动管理策略。IEEE 33节点配电系统仿真结果表明,所提优化配置方法可有效提高分布式光伏消纳量并保证供电质量。(本文来源于《电力自动化设备》期刊2019年03期）
茅潇潇[4]（2018）在《分布式数据库并行连接查询的实现及优化》一文中研究指出在信息化时代,随着数据规模和用户规模的不断扩大,传统的集中式数据库已经难以满足互联网应用的需求。基于水平扩展的分布式数据库系统能够突破集中式数据库单节点的性能瓶颈问题,以其良好的存储能力和计算能力受到了学术界和工业界的关注。但是与此同时,分布式架构的特点使得分布式数据库中的连接查询操作更为复杂和具有挑战性。本文利用并行查询处理技术,实现并优化了分布式数据库中的并行连接查询,主要贡献包括以下叁点:1.本文详细分析了传统将数据集中在一个节点进行连接查询处理的执行流程,从集中式处理节点的性能瓶颈问题、内存资源消耗、阻塞算子特点和网络传输代价等方面总结了影响连接查询响应时间的因素,并在此基础上归纳并明确了分布式数据库中提高连接查询效率的思路。2.对于大规模数据的连接查询,本文基于Ocean Base设计并实现了一套并行连接查询执行框架。该框架通过同时由多个计算节点并行执行连接查询任务和基于流水线式数据传输的并行哈希连接算法,将独立并行、水平并行与流水线并行结合,减少了连接查询的响应时间,并采用可靠的容错与重试策略提高了并行连接查询执行流程的可用性。在此基础上,本文提出了数据预读取、数据预探测和设计高效缓冲区等多项优化技术进一步加快了连接操作的并行执行效率,减弱了并发场景下的短板效应,提高了系统整体的资源利用率。3.在并行连接查询执行过程中,本文提出并设计了基于布隆过滤器的数据传输优化策略。在哈希连接中引入了布隆过滤器选择算子及动态数据传输算子,通过构造布隆过滤器过滤掉右表中无需参与连接的数据,以少量的计算代价节省了大量的跨节点网络传输开销,降低了连接操作的查询时延。综上所述,本文基于分布式数据库提出了一个高效的并行连接查询解决方案,并进一步给出了若干优化策略,提升了分布式环境下的连接查询执行效率,最后通过一系列实验证明了该方案的可行性与高效性。同时,本文提出的并行连接查询执行框架也为其他分布式数据库中的连接查询优化提供了思路和参考,具有一定的借鉴意义。(本文来源于《华东师范大学》期刊2018-05-01）
张静波[5]（2018）在《以并行遗传与蚁群算法为核心的分布式数据库优化》一文中研究指出信息化时代背景下,大数据的出现使得分布式数据库得到了广泛应用,在分布式数据库查询中,不仅要求查询结果的准确性,还要求较高的查询效率。如何通过科学合理的算法,促进数据查询效率的优化,是本文研究的关键。结合遗传算法和蚁群算法的基本原理,提出了一种基于并行遗传-最大最小蚁群算法(PGA-MMAS),并对其进行了仿真实验。结果表明,该算法检索效率较遗传算法和蚁群算法更高,能够显着提升分布式数据库查询效率。(本文来源于《通讯世界》期刊2018年01期）
付周望[6]（2018）在《分布式并行计算框架的shuffle优化》一文中研究指出大数据时代的到来使得分布式计算变得越来越普及。为了快速地处理大规模的数据,有大量复杂的分布式并行计算框架被设计并使用,比如Hadoop MapReduce~([1]),Spark~([2]),Dryad~([3]),Tez~([4])等。这些分布式计算框架大多采用将用户计算逻辑用有向无环图(Directed Acyclic Graph,DAG)的方式呈现出来。在执行DAG的每一个计算阶段时,这些计算框架大多采用了整体同步并行计算模型(Bulk-Synchronous Parallel,BSP)来对大数据进行分布式的并行批处理。在这些相邻的计算阶段之间,shuffle,或者说跨网络的多对多分块数据的读写满足了计算逻辑对于不同数据的依赖。与此同时,shuffle的过程也带来了大量的网络数据传输。受限于计算任务对于数据的依赖和本身低效率的设计实现,shuffle过程会给计算任务的性能带来巨大损失。尤其是在一些需要大量shuffle数据的情境中,shuffle的开销甚至会成为整个应用的性能瓶颈。更重要的是,这个问题在大多数分布式并行计算框架中都普遍存在。为了提供一种具有普遍意义的shuffle优化方案,本研究抽取了这些系统在shuffle设计中存在的一些共性问题:1)粗粒度的硬件资源管理降低了资源的利用率和复用率。2)同步滞后的shuffle读取既增加了计算任务执行时对shuffle网络传输的显式等待时间,又给网络带来一个瞬时的流量高峰。针对以上问题,本文提出了S(huffle)Cache—一个开源的即用型系统来优化DAG计算过程中的shuffle阶段。通过在计算阶段真正执行前提取表达计算逻辑的DAG以及其中的shuffle依赖关系,SCache可以将shuffle过程从DAG计算过程中独立出来,从而提供更细粒度的硬件资源管理。与此同时,SCache通过提前异步的shuffle传输来解决目前同步滞后的shuffle读取过程。此外,SCache还利用内存来实现对shuffle数据的缓存,进一步提升shuffle过程的效率。为了实现以上的优化目标,本研究做出了以下主要贡献:1.将shuffle过程从计算过程中解耦,使得shuffle过程独立到外部进行管理,从而实现了更细粒度的硬件资源管理。2.结合应用的上下文对shuffle数据进行预取,既避免了同步数据读取给网络带来的压力,又能将大部分网络传输时间隐藏到计算阶段。3.结合应用的上下文对shuffle数据进行内存缓存,进一步提升shuffle过程的效率。4.根据现有的分布式计算框架shuffle的特点设计了相应的接口(API)。通用的接口设计使得优化能被应用到不同的分布式并行计算框架当中。基于以上阐述,本研究课题实现了SCache,同时修改了Apache Spark~([2])对SCache进行适配。并且通过仿真实验和Amazon AWS EC2集群上大规模数据测试来验证其优化效果。在不同的数据集和测试程序的测试中,SCache能减少将近89%的shuffle开销。在TPC-DS的测试中,SCache的优化能给分布式SQL查询带来平均大约40%的性能提升。(本文来源于《上海交通大学》期刊2018-01-01）
亢良伊,王建飞,刘杰,叶丹[7]（2018）在《可扩展机器学习的并行与分布式优化算法综述》一文中研究指出机器学习问题通常会转换成一个目标函数去求解,优化算法是求解目标函数中参数的重要工具.在大数据环境下,需要设计并行与分布式的优化算法,通过多核计算和分布式计算技术来加速训练过程.近年来,该领域涌现了大量研究工作,部分算法也在各机器学习平台得到广泛应用.针对梯度下降算法、二阶优化算法、邻近梯度算法、坐标下降算法、交替方向乘子算法这5类最常见的优化方法展开研究,每一类算法分别从单机并行和分布式并行来分析相关研究成果,并从模型特性、输入数据特性、算法评价、并行计算模型等角度对每种算法进行详细对比.随后,对有代表性的可扩展机器学习平台中优化算法的实现和应用情况进行对比分析.同时,对所介绍的所有优化算法进行多层次分类,方便用户根据目标函数类型选择合适的优化算法,也可以通过该多层次分类图交叉探索如何将优化算法应用到新的目标函数类型.最后分析了现有优化算法存在的问题,提出可能的解决思路,并对未来研究方向进行展望.(本文来源于《软件学报》期刊2018年01期）
司雨蒙[8]（2017）在《星系分组算法并行设计与优化：SGI系统与分布式集群对比》一文中研究指出星系分组作为天文物理学中的一大研究领域,对于探索星系组的形成与演化以及宇宙大尺度结构具有重大意义。Halo-based Galaxy Group Finder(HGGF)是一种有效的基于暗物质晕的星系分组算法,它根据星系的空间位置、红移、质量等多种属性对星系进行处理,形成星系组,从而为上述研究提供重要依据。然而,当前算法的OpenMP实现版本受限于其编程模型,仅能利用单个节点中提供的内存与处理器资源,这使其在大规模星系分组问题上的应用受到限制。解决这一问题的一种思路是利用具有大量CPU核心与内存资源的一致性共享内存(Coherent Shared Memory,CSM)计算机进行问题求解,然而其高昂的价格令人望而却步,同时该类型计算机对此算法的适用性也值得考量。另一种解决思路是采用多机并行,从而利用多个集群节点的资源来处理更大规模的星系分组问题并缩短执行时间。这需要对算法进行重新设计与实现,而实现此目标的一大挑战是算法中存在大量半随机性远端内存访问,在多机并行环境下会对性能造成重大影响。为克服这一难题,我们在设计中提出了邻接星系链表思想,并采用Unified Parallel C(UPC)进行程序实现。对于核代码部分,使用4,8,16节点时,相较于单节点可分别取得2.25,2.78,5.07倍加速比。同时,对于单个节点的内存需求也显着减少。此外,OpenMP版本在SGI UV 2000上的实验结果显示,受限于程序的访存特性与机器体系架构的特点,类似HGGF算法这样具有随机数据访问特征的程序,很难有效利用具有NUMA结构的CSM计算机所提供的大规模线程与内存资源以直接取得高加速比。在分布式内存集群上采用两级并行设计以更好地利用局部性原理可以使HGGF算法更加高效。(本文来源于《上海交通大学》期刊2017-01-13）
谈超[9]（2016）在《基于云计算的图像稀疏表示算法分布式并行优化》一文中研究指出随着社会的发展,基于图像的应用越来越多,例如人脸识别,高光谱图像矿物勘探、环境监测等。同时图像的分辨率也越来越高。图像的稀疏表示(Sparse Representation,SR)是一种非常有效的图像处理方法,它利用少量的系数来表示图像,从而为后续的图像分析和应用提供便利。然而由于图像所包含的信息多样化,稀疏表示算法具有较高的复杂度等原因使得现有的单机计算平台难以分析大规模图像,且执行效率低下。云计算是近些年新起的一个可扩展的分布式并行计算框架和存储大规模数据的平台,具有强大的计算能力和广泛的应用前景。本文在研究Hadoop的MapReduce计算框架、分布式文件系统HDFS,Spark系统结构、任务调度和分布式弹性数据集RDD等云计算关键技术的基础上,结合图像去噪修复中的实际应用背景,设计了基于Spark的图像稀疏表示K-SVD算法分布式并行优化方法和组稀疏-TV算法高光谱图像去噪修复分布式并行优化方法,并利用大量的图像数据,进行实验验证。实验结果表明,本文提出的图像稀疏表示分布式并行优化方法在保证处理结果正确性的同时,能够获得较高的加速比和处理大规模数据的能力。主要内容包括:1.基于Spark云计算平台进行了图像稀疏表示K-SVD算法的分布式并行优化。在分析了图像稀疏表示的K-SVD算法和OMP算法的基础上,并结合了 Spark任务调度和MapReduce计算框架,改进了 K-SVD算法的字典更新方式,采用原子单独更新的方式,从而增加了算法的并行度。根据系数向量具有稀疏性的特点,设计了叁元组结构记录每一个稀疏向量,从而压缩数据规模,减少数据传输量和冗余计算。针对OMP算法在求解过程中会产生残差向量和K-SVD算法字典更新过程中需要计算误差矩阵的特点,优化误差矩阵的计算方式,减少误差矩阵的计算量。同时设计了合理的中间数据结构,并充分利用数据本地性的任务调度策略,减少数据在各个节点之间的来回传输和MapReduce任务之间的数据shuffle。通过与单机串行实验作对比,验证了本文方法的有效性和加速效果。2.基于Spark云计算平台进行了高光谱图像组稀疏-TV去噪修复算法分布式并行优化。在分析了基于高光谱图像的组稀疏算法、TV去噪修复算法和PCA算法的基础上,并结合了 Spark任务调度和MapReduce计算框架,改进了 PCA算法计算方式,减少算法的计算量。利用多节点之间并行的网络传输能力,减少在去噪修复过程中的数据传输时间。同时设计合理的中间数据结构和利用RDD数据本地性,减少在TV算法中不同RDD之间的数据传输。通过共享变量的内存空间,减少在迭代过程中中间数据申请新空间的次数,从而减少GC时间。优化TV算法中梯度矩阵的计算方式,合并部分矩阵的计算,减少算法的计算量。通过与单机串行实验作对比,验证了本文方法的正确性和加速效果。(本文来源于《南京理工大学》期刊2016-12-01）
林基明,班文娇,王俊义,童记超[10]（2016）在《基于并行遗传-最大最小蚁群算法的分布式数据库查询优化》一文中研究指出针对分布式数据库中关系及其分片多副本、多站点存储的特性会增加查询搜索空间及时间复杂度,从而降低查询执行计划(QEP)搜索效率的问题,提出一种基于分片分配选择器(FSS)设计准则的并行遗传-最大最小蚁群算法(PGA-MMAS)。首先,结合实际的企业分布式信息管理系统设计FSS,启发式选择较优关系副本,以减少查询连接代价并缩小PGA-MMAS的搜索空间;然后结合遗传算法(GA)收敛较快的优势,对最终连接关系进行编码和并行遗传操作,得到一组相对较优的QEP,并将其转化为并行最大最小蚁群算法(MMAS)的初始信息素分布,从而使其更快速地搜索到全局最优QEP;最后分别在不同关系数情况下对算法进行仿真实验,结果表明,基于FSS的PGA-MMAS搜索最优QEP的效率高于原GA以及基于FFS的GA、MMAS和GA-MMAS;经实际工程应用验证,所提算法搜索出的高质量QEP可以提高分布式数据库多关系查询效率。(本文来源于《计算机应用》期刊2016年03期）
分布式并行优化论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
针对大规模的优化问题,提出一种复杂度低且能快速收敛的分布式并行方法。由于计算Hessian矩阵及其逆矩阵会带来巨大的计算和存储开销,利用内点法或牛顿法求解大规模问题并不可行;大规模优化问题通常采用基于梯度或基于分解的方法进行求解。传统的方法具有较高的复杂度的算法,因此笔者提出了一种新的具有更快收敛速度的原对偶方法,每次迭代仅需要进行简单的梯度更新,从而降低复杂度。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
分布式并行优化论文参考文献
[1].孙旻,余愿,曾伟,彭春华.考虑主动管理的配电网分布式光伏并行优化配置[C].2018年江西省电机工程学会年会论文集.2019
[2].余红蕾.求解大规模优化问题的分布式并行方法[J].信阳农林学院学报.2019
[3].孙旻,余愿,曾伟,彭春华.考虑主动管理的配电网分布式光伏并行优化配置[J].电力自动化设备.2019
[4].茅潇潇.分布式数据库并行连接查询的实现及优化[D].华东师范大学.2018
[5].张静波.以并行遗传与蚁群算法为核心的分布式数据库优化[J].通讯世界.2018
[6].付周望.分布式并行计算框架的shuffle优化[D].上海交通大学.2018
[7].亢良伊,王建飞,刘杰,叶丹.可扩展机器学习的并行与分布式优化算法综述[J].软件学报.2018
[8].司雨蒙.星系分组算法并行设计与优化：SGI系统与分布式集群对比[D].上海交通大学.2017
[9].谈超.基于云计算的图像稀疏表示算法分布式并行优化[D].南京理工大学.2016
[10].林基明,班文娇,王俊义,童记超.基于并行遗传-最大最小蚁群算法的分布式数据库查询优化[J].计算机应用.2016
论文知识图
