导读:本文包含了异构集群论文开题报告文献综述、选题提纲参考文献及外文文献翻译，主要关键词:集群,异构,作业,算法,在线,负载均衡,向量。
异构集群论文文献综述
刘成,罗杰,臧今宇[1]（2019）在《一种基于异构集群的在线密码破解系统》一文中研究指出市面上的密码破解软件多为单机版,需要用户安装、设置软件,使用成本较高;或需要用户自行搭建服务器或机房,物理系统的建设和维护成本很高。为了解决上述问题,提出了一种基于异构集群的在线密码破解系统。该系统基于B/S架构,通过WEB页面提供在线破解能力,易于使用;基于PBS系统,实现了多种密码破解所需的调度模式;设计了GPU代理程序,弥补了PBS系统的不足;基于CUDA的GPGPU异构计算集群,实现了数百倍的性能提升。(本文来源于《通信技术》期刊2019年08期）
陈静临[2]（2018）在《基于Hadoop异构集群的动态作业调度研究》一文中研究指出当前云计算技术飞速发展并逐渐改变人们的生活,而Hadoop作为高可靠性、高扩展性和高容错性的云计算平台,受到了广泛的关注和使用。随着Hadoop被应用于越来越多的领域,面对的作业环境也越发复杂,尤其是在异构集群环境下数据量爆炸性增长而节点资源有限,为了解决这个问题,人们不断对Hadoop平台做出优化。而改进Hadoop作业调度算法能够在异构集群环境下有效的利用资源从而提高集群的利用率和作业的执行效率,对整个Hadoop平台性能提升具有重大意义。Hadoop自带的FIFO调度器、容量调度器以及公平调度器是以集群同构为前提进行作业调度的,在面对小规模集群以及作业类型单一的情况尚有不错的调度效果。但是当前Hadoop集群规模逐渐增大,集群异构性越发突出以及作业类型更加复杂,Hadoop本身的调度算法无法针对此情况进行有效的资源分配和任务调度,会造成资源利用率低以及负载不均等问题。本文在对Hadoop平台的作业调度算法进行分析和比较后提出了能够适应异构集群的改进的作业调度算法,主要工作包括以下几个方面:首先,提出负载均衡指数的概念,以节点的四个特征CPU、内存、磁盘IO以及网络带宽作为衡量集群负载均衡的指标,根据节点能力对负载加权,从节点能力和资源利用率的角度量化集群负载均衡的程度并得到负载均衡指数。其次,利用遗传算法对Hadoop作业调度问题建模,将作业调度涉及到的资源和任务进行编号并参数化,将作业的调度优化问题转化为遗传算法求最优解。并将作业完成时间和本文中提出的负载均衡指数作为遗传算法的适应度函数,同时对作业完成时间和负载均衡两个目标进行优化。这样由遗传算法找出最优个体并解码得到最佳任务分配列表,调度器根据得到的任务列表进行调度能有效缩短作业总完成时间以及保持负载均衡。最后,搭建小型Hadoop集群对改进的调度算法进行负载均衡测试以及作业完成时间的对比实验。结果证明本文提出的新的调度算法在异构集群环境下能够保证负载均衡并在作业完成时间上优于Hadoop自带的调度算法。(本文来源于《北京交通大学》期刊2018-09-01）
任桂山,刘梦泽,陈学梅,李红艳,徐朝农[3]（2018）在《面向MapReduce异构集群的低功耗调度技术研究》一文中研究指出随着网络数据规模的急剧膨胀,集群在数据处理中扮演日益重要的角色。然而集群中任务的不合理分配导致能量利用率很低。面向数据处理领域中最常用的MapReduce异构集群,通过对节点上的任务进行调度,在保证处理时间限制的前提下最小化能耗。将该问题模型化并基于CPLEX优化工具进行求解。使用GridSim模拟器,以TeraSort和K-means作为评测对象对算法效果进行了评测。实验结果显示,与标准FIFO调度策略相比,所提出的方法使得平均功耗下降了29%。(本文来源于《计算机应用与软件》期刊2018年07期）
刘梦泽[4]（2018）在《面向MapReduce异构集群的低功耗调度技术研究》一文中研究指出近年来,随着互联网技术的提升,用户数量迅猛增长,数据量急剧膨胀。快速处理及高效分析这些数据,成为一项非常迫切的任务。MapReduce异构集群已经成为被广泛使用的数据高效的处理平台工具之一。然而由于任务在集群的不合理分配,处理数据会消耗巨大的电量。本文致力于研究MapReduce异构集群低功耗调度问题,并做了以下工作:作为必要的基础知识,首先我们介绍了对于MapReduce的研究现状。而后阐述了分布式系统的计算模型。此外我们着重介绍了MapReduce的计算模型和实验必要的Hadoop的组件作用和执行流程。根据异构集群差异化执行的实际情况,在一定时间限制的前提下,为满足执行能耗和最低,我们根据MapReduce计算模型,对异构节点中不同节点分配多少任务建立模型调度建立模型。对于该组合优化问题,我们使用CPLEX12.4工具进行求解。基于求解的结果,我们在CloudSim3.0模拟分布式处理框架上对调度结果进行性能评价。在仿真实验过程中,以TeraSort和K-means聚类作为评价标准,本文调度策略同FIFO(First In First Out)策略和SLO(Service Level Objective)调度策略作对比,发现执行能耗分别平均降低了19%和13.5%。实验结果揭示了执行时间和执行能耗间的关系。(本文来源于《中国石油大学(北京)》期刊2018-05-01）
张仁洪[5]（2018）在《基于异构集群的SVM并行计算研究》一文中研究指出支持向量机(support vector machine,简称SVM)由于其完整的理论框架和在实际应用中取得的良好效果,特别是在多分类问题上显示其突出的能力以及作为运用核函数的成功范例,在人脸检测、时间序列预测、自适应信号处理、模式识别和图像识别等方面都得到广泛的应用。SVM训练阶段实质是求解二次规划(QP,Quadratic Programming)问题得到支持向量,求解QP问题过程中须计算出N阶矩阵(N为样本数量)。随着大数据时代的到来,在样本类别多,样本数量大、样本特征多情况下,存在计算量大,支持向量机内存使用过多,训练速度慢等问题。针对这些问题,本文就并行化SVM展开了相关工作,研究并行技术分散SVM内存依赖,加速训练过程,Lib SVM训练过程默认设置核函数Gamma参数和容错惩罚C参数,不利于提升训练精度和训练模型的泛化能力。国内外学者多基于二分类SVM采用混合编程(例如MPI+CUDA)并行加速SVM训练过程,而实际大概率需要处理多类样本,并且混合编程提升了开发者开发难度。论文主要工作如下:1.为提升分类精确度和支持向量机的模型泛化能力,基于Lib SVM增添参数优选功能。2.在有关并行化SVM的文献基础上,分析比较现有大数据编程模型优缺点,本文提出了基于分布式的异构加速并行方案。该异构集群框架扩展性好,能够实现不同计算资源(例如CPU,GPU,DSP)的增减并且不用改动程序流程;容易二次开发,不需要程序员掌握并行编程相关技术;适应多种应用场景;计算性能随计算资源近线性增长。3.为加速支持向量机的训练速度,本论文通过对支持向量机模型的研究,结合SVM串行实现,比较4种SVM并行实现方法并选中svm_train_one并行加速方案;理清代码结构,寻找训练过程中的计算热点以便于并行化;编写了CPU版本和GPU版本的svm_train_one并行加速程序并注册到集群框架。4.基于阿里云搭建实验环境,用两组样本进行性能测试。实验结果分析表明,基于异构集群的svm_train_one并行方案在支持向量机训练速度上有显着提升,具有重要的实用价值。(本文来源于《电子科技大学》期刊2018-03-30）
陈林[6]（2018）在《Hadoop异构集群下的负载均衡算法研究》一文中研究指出Hadoop集群环境中,由于增加删除节点、删除文件等操作,都有可能造成数据的不均衡。数据的负载均衡对集群性能有着重要的影响。首先分析现有的负载均衡算法,然后提出一种基于异构集群性能和剩余空间的负载均衡算法。该算法根据节点的剩余空间以及节点性能来计算各个节点的理论空间利用率,并且根据集群的存储空间利用率来动态的调整节点的最大负载率。实验结果显示,提出的数据负载均衡算法可以使异构环境下的集群基于性能和剩余空间达到所期望的均衡状态:性能越高、剩余空间越大的节点,应该有更高的空间利用率。(本文来源于《现代计算机(专业版)》期刊2018年05期）
李震[7]（2018）在《异构集群环境下通用量子计算仿真技术研究》一文中研究指出量子计算近年来的一系列进展吸引了广泛的关注,量子计算机得益于其内在并行性,可以在线性时间内解决某些经典计算机上的NP难问题,尽管目前已有的优于经典计算的量子算法还比较少,量子计算的潜力已经初现。然而,目前距离有实际使用价值的量子计算机的问世还有很长一段距离,量子计算机的物理实现规模还很小,因此,目前量子计算仿真技术仍然是进行量子算法研究和验证的有效途径。本文主要开展了关于应用CPU+GPU异构集群进行通用量子计算机仿真的研究。本文主要研究内容如下:1.对异构集群量子计算仿真中的通信特点进行分析,针对通信开销大的问题提出了优化方法,有效降低量子计算仿真过程中的通信开销。2.结合CUDA架构特性、Kepler设备特性和量子计算仿真的特点,对量子计算仿真进行了访存优化和性能提升。3.在对量子计算仿真并行特征分析的基础上,构建了通用量子计算仿真平台,进行了多组实验验证本文提出的方法的有效性,并对仿真平台的性能进行了分析。通过上述的研究,本文从降低通信开销、性能优化等方面入手,构建了基于CPU+GPU异构集群的大规模通用量子计算机仿真平台,为量子算法的研究提供有力工具。(本文来源于《南京航空航天大学》期刊2018-01-01）
罗刚,陈继红,孙孝萍,周坤,杜吉国[8]（2017）在《大规模异构集群地震作业调度与资源管理系统的设计与实现》一文中研究指出地震数据处理对计算能力的要求越来越高,超大计算量的新算法不断投入应用,大规模并行计算和异构协同计算成为常态;同时大型数据中心资源的不当划分常导致设备利用率偏低。本文主要阐述GeoEast大规模集群作业调度及资源管理子系统的总体结构、数据管理、调度算法及插件化资源监控技术。通过对节点的统一管理与实时监控,不仅支持大规模作业并发运行,而且解决了大规模网络环境下作业调度和负载均衡问题。保障作业在最佳资源环境下运行,提高计算资源的利用率和数据处理效率,为地震处理作业的运行提供可靠的支撑。(本文来源于《石油地球物理勘探》期刊2017年S2期）
杨瑞瑞[9]（2017）在《面向多核CPU/众核GPU异构集群的数据流编程模型研究》一文中研究指出传统CPU多核处理器和CPU集群有时无法满足应用程序对大规模和超大规模计算的需求,图形处理器GPU正在以其特有的高性能浮点计算、并行计算的优势得到广泛应用。以“传统CPU处理器+GPU加速协处理器”为特征的CPU/GPU异构集群因其同时具有逻辑控制能力以及计算密集性优势而逐渐成为大数据和大规模计算的研究热点。异构并行体系架构内传统核CPU与计算核GPU协同工作,与数据流编程模型中数据通信与计算任务分离的特征相符合,能够充分暴露出数据流程序中能够并行化处理的功能模块,合理分配硬件资源。但是,传统CPU集群平台下的任务划分调度、软件流水线构造及数据通信等处理方式并不能简单复制到异构集群平台。针对异构集群硬件平台的多级并行结构,以数据流应用程序及CPU/GPU异构特性为基础,设计并实现了一个面向多核CPU/众核GPU异构集群的数据流编程模型。该数据流编程模型主要包括二级任务划分调度实现任务单元映射、层次性阶段赋值构造软件流水线、MPI/OpenCL混合编程模型以分布式存储和共享存储相结合的模式完成数据通信以及C++与OpenCL混合目标代码生成四个模块。该模型具有两个方面的优势:最大化挖掘多媒体领域数据流应用程序大规模运算的特点以及其潜在的并行性;充分发挥异构集群架构的硬件配置使得CPU与GPU协同工作,并通过层次性划分调度构造两级任务流水线提高程序整体执行性能。实验采用X86多核处理器和Amax混合架构处理器搭建异构集群平台,测试程序源于数字媒体领域应用相对广泛的典型算法,从多个角度分析验证了该CPU/GPU异构集群数据流编程模型的有效性。(本文来源于《华中科技大学》期刊2017-05-01）
黄逸伟[10]（2017）在《基于FPGA加速的YARN异构集群管理方法研究》一文中研究指出大数据时代下,通用处理器的处理能力无法满足工业界、学术界对数据挖掘、机器学习类算法计算性能要求,加速设备与Hadoop集群融合已成为一种重要的趋势。当前研究主要集中在利用加速设备实现MapReduce编程模型,或者利用Hadoop集群集成加速设备,探讨利用加速设备的并行计算能力及其他优势优化MapReduce计算框架。在Hadoop集群上集成加速设备,需要从实现的角度,研究加速设备的具体集成方式,构造更通用、可靠性更高的加速系统。Hadoop集群中计算任务分为本地任务与非本地任务,任务执行的基本设计思想是“计算跟着数据走”,但考虑到作业执行效率,非本地任务的计算数据会通过网络传输到达任务执行节点,利用任务执行节点的计算资源进行运算。当加速设备在Hadoop集群中每台计算节点不统一部署时,即YARN异构集群,任务执行节点有可能没有加速计算资源,但现有的研究工作中非本地任务有可能无法完成计算,导致加速程序运行失败。在YARN平台集成FPGA加速器基础上针对YARN异构集群提出解决方案,方案首先将集群计算节点分为加速类型计算节点和非加速类型计算节点,针对加速程序,数据块副本定向存储到加速类型计算节点上,并且集群资源调度器只分配加速类型计算节点的资源容器,有效地解决了加速程序的非本地任务成功执行问题。普通类型应用程序则按照原有的执行方式运行。所提解决方案主要对HDFS客户端写数据过程以及资源调度器资源调度算法进行改造,通过实验验证其可行性和向前兼容性,并对扩展后的资源调度器就小规模集群中影响作业执行性能进行实验评估和分析。(本文来源于《华中科技大学》期刊2017-05-01）
异构集群论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
当前云计算技术飞速发展并逐渐改变人们的生活,而Hadoop作为高可靠性、高扩展性和高容错性的云计算平台,受到了广泛的关注和使用。随着Hadoop被应用于越来越多的领域,面对的作业环境也越发复杂,尤其是在异构集群环境下数据量爆炸性增长而节点资源有限,为了解决这个问题,人们不断对Hadoop平台做出优化。而改进Hadoop作业调度算法能够在异构集群环境下有效的利用资源从而提高集群的利用率和作业的执行效率,对整个Hadoop平台性能提升具有重大意义。Hadoop自带的FIFO调度器、容量调度器以及公平调度器是以集群同构为前提进行作业调度的,在面对小规模集群以及作业类型单一的情况尚有不错的调度效果。但是当前Hadoop集群规模逐渐增大,集群异构性越发突出以及作业类型更加复杂,Hadoop本身的调度算法无法针对此情况进行有效的资源分配和任务调度,会造成资源利用率低以及负载不均等问题。本文在对Hadoop平台的作业调度算法进行分析和比较后提出了能够适应异构集群的改进的作业调度算法,主要工作包括以下几个方面:首先,提出负载均衡指数的概念,以节点的四个特征CPU、内存、磁盘IO以及网络带宽作为衡量集群负载均衡的指标,根据节点能力对负载加权,从节点能力和资源利用率的角度量化集群负载均衡的程度并得到负载均衡指数。其次,利用遗传算法对Hadoop作业调度问题建模,将作业调度涉及到的资源和任务进行编号并参数化,将作业的调度优化问题转化为遗传算法求最优解。并将作业完成时间和本文中提出的负载均衡指数作为遗传算法的适应度函数,同时对作业完成时间和负载均衡两个目标进行优化。这样由遗传算法找出最优个体并解码得到最佳任务分配列表,调度器根据得到的任务列表进行调度能有效缩短作业总完成时间以及保持负载均衡。最后,搭建小型Hadoop集群对改进的调度算法进行负载均衡测试以及作业完成时间的对比实验。结果证明本文提出的新的调度算法在异构集群环境下能够保证负载均衡并在作业完成时间上优于Hadoop自带的调度算法。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
异构集群论文参考文献
[1].刘成,罗杰,臧今宇.一种基于异构集群的在线密码破解系统[J].通信技术.2019
[2].陈静临.基于Hadoop异构集群的动态作业调度研究[D].北京交通大学.2018
[3].任桂山,刘梦泽,陈学梅,李红艳,徐朝农.面向MapReduce异构集群的低功耗调度技术研究[J].计算机应用与软件.2018
[4].刘梦泽.面向MapReduce异构集群的低功耗调度技术研究[D].中国石油大学(北京).2018
[5].张仁洪.基于异构集群的SVM并行计算研究[D].电子科技大学.2018
[6].陈林.Hadoop异构集群下的负载均衡算法研究[J].现代计算机(专业版).2018
[7].李震.异构集群环境下通用量子计算仿真技术研究[D].南京航空航天大学.2018
[8].罗刚,陈继红,孙孝萍,周坤,杜吉国.大规模异构集群地震作业调度与资源管理系统的设计与实现[J].石油地球物理勘探.2017
[9].杨瑞瑞.面向多核CPU/众核GPU异构集群的数据流编程模型研究[D].华中科技大学.2017
[10].黄逸伟.基于FPGA加速的YARN异构集群管理方法研究[D].华中科技大学.2017
论文知识图
