大规模并行处理论文_黄春秋

导读:本文包含了大规模并行处理论文开题报告文献综述、选题提纲参考文献及外文文献翻译,主要关键词:栅格,数据,高性能,算法,超图,模型,孔径。

大规模并行处理论文文献综述

黄春秋[1](2019)在《大规模数据并行处理应用中的弹性任务调度问题研究》一文中研究指出Hadoop分布式计算框架有效解决了大规模数据并行处理中数据的存储与计算问题,集群资源分配及调度方式对于提高系统的整体性能具有重大的现实意义。目前,相关学者在提高数据本地化,作业完成时间,系统吞吐量等方面提出了各种启发式算法来改善系统的整体性能。然而大部分启发式算法在调度过程中采用贪心策略去调度任务,对于任务缺乏整体性规划,而且由于数据分布式存放在集群中,Shuffle阶段仍会产生网络拥塞造成作业完成时间的延迟。随着数据量的急剧增长,合理的分配及利用资源、释放顶层带宽并加快作业的完成速度是目前面临的新挑战。另外,现实生活中部分用户对于作业有截止时间的要求,现有算法没有考虑到作业不同完成时间产生的不同收益问题,即作业对于截止时间的敏感程度不同。本文针对以上两方面问题,分别设计了调度算法去解决。研究的重点:1.资源分配策略;2.作业调度方法。以上两方面的好坏直接影响平台的整体性能和系统资源的利用率。在现实生活中存在许多重复性的工作具有可预测的属性特征,通过建立相应的模型可以对作业的执行时间进行预测。另外,在研究过程中发现作业调度与矩形条装箱问题有许多相似之处,不同点是任务矩形条的形状会随着分配资源的不同而改变,我们称之为弹性作业。本文首次将集群资源调度问题转化为可变的任务矩形条装箱问题,设计了弹性作业装箱算法(Flexible Job Bin Packing algorithm,简称FJBP)。同时本文结合遗传算法,进一步优化解集。针对作业的截止时间不同敏感性问题,本文首先将作业根据敏感程度进行了分类,设计了既考虑作业紧急程度又考虑作业预执行收益的一种作业弹性与截止时间感知的调度算法(elasticity and Deadline Aware job scheduling algorithm,简称DA)。在Matlab仿真的环境下验证了本文算法的优势。FJBP算法缩短了作业的整体完成时间,提高了系统资源利用率,释放了顶层带宽且一定程度上减少了网络拥塞。DA算法在作业执行前会去衡量作业执行的综合收益,优先选择收益大的去执行。实验表明整体收益平均提高了2.37倍。(本文来源于《天津工业大学》期刊2019-01-11)

艾玮[2](2017)在《云计算环境下大规模文本挖掘并行处理技术研究》一文中研究指出随着大数据时代的到来,数据量正以指数级的形式增长,已经达到TB、PB级别,甚至ZB级别,其中很大一部分是文本数据。在文本数据飞速增长的背后,是它们所蕴含的无限价值,文本挖掘技术可以帮助人们从文本数据中发现知识、找出规律,从而产生价值。传统的文本挖掘方法不能有效地处理大规模文本数据,尤其是不能满足用户对时效性的要求,而云计算的出现和发展为快速、高效地处理大规模文本数据提供了解决方案。要想充分利用好云计算的并行计算能力和其动态资源的分配能力,从而有效地处理大规模文本数据,云计算环境下的大规模文本挖掘并行处理技术变得至关重要。鉴于此,本文以提高文本挖掘效率并且保持挖掘的准确率为目标,结合文本挖掘技术中的文本聚类和文本命名实体识别,分别从算法并行策略、算法并行与硬件协同策略、具体应用的并行算法设计以及并行资源高效管理四个方面,对云计算环境下的大规模文本挖掘并行处理技术展开研究。本文的主要工作如下:1.在算法并行策略研究方面,针对文本命名实体识别的条件随机场(CRF)模型在处理大规模文本数据时,参数估计周期长、时间效率差的问题,基于Hadoop平台提出了一种称为MapReduce CRF(MRCRF)的并行算法。MRCRF通过结合和并行化LBFGS和Viterbi两个子算法(即MRLB算法和MRVtb算法),来处理CRF中的两个耗时步骤。MRLB算法利用MapReduce框架提高了参数估计能力,MRVtb算法通过另一个MapReduce工作扩展了 Viterbi算法来推断输入序列最可能的状态序列。此外,还为MRCRF设计了 一种有效分割数据集的方法来平衡工作负载并最小化数据的复制。实验结果表明,MRCRF算法优于传统CRF模型,在保证准确性的前提下时间效率有了显着的提高。2.在算法并行与硬件协同策略研究方面,为了进一步提高大数据环境下文本命名实体识别的条件随机场(CRF)模型的性能,基于GFlink平台提出了一种CPU+GPU异构环境下的分布式异构CRF(DHCRF)的并行算法。DHCRF算法利用了叁阶段的Map和Reduce操作来提高性能,充分发挥了大数据环境中的CPU-GPU协同计算能力。此外,通过组合弹性数据分区和中间结果复用方法,对DHCRF进行了优化。执行弹性数据分区以保持负载平衡,中间结果复用方法减少了数据通信。大量实验结果表明,与在单个机器上实现的基本CRF算法和已有的并行CRF算法相比,DHCRF算法不仅在时间效率上有了明显提高而且还保持了算法识别的准确性。3.在具体应用的并行算法设计研究方面,针对大数据环境下缺乏一种有效的微博热点话题检测方法的问题,基于Spark平台提出了一种两阶段mic-mac热点话题检测(TMHTD)的并行聚类算法。为了提高检测的准确性,提出了叁种优化方法来优化TMHTD,优化方法包括:用于微聚类的文本选择,用于宏聚类的话题选择,以及用于single-pass聚类算法的细/粗粒度相似性计算的构造。为了处理大规模文本数据,本文设计了一组MapReduce作业,以高度可扩展的方式完成了热点话题检测。实验结果表明,TMHTD算法在微博热点话题检测的准确性和时间效率方面都优于已有的其它检测方法。4.在并行资源高效管理方面,针对文本挖掘算法在弹性云平台上并行处理时的不确定性带来计算任务的变更,可能需要对资源配置进行频繁更改,而弹性云计算平台尚未能在资源易用性上为用户解决资源配置难题的问题,本文利用云平台的弹性能决定所需的并行计算资源多少和评估云平台的特点,提出了新的弹性测量定义;并且根据文本数据集的特点和文本挖掘过程,提出了一种弹性测量模型。该模型不仅能用于云平台弹性值的精确计算,而且可以根据文本数据集的数量预测出所需要的并行资源的数量及其它性能指标,为用户提供了平台选择与资源配置指导,从而实现对并行资源的高效管理。数值计算结果验证了影响弹性的基本参数,模拟实验和真实环境下的实验结果都验证了所提出的测量模型不仅是正确有效的而且可以作为云平台弹性测量的通用模型。(本文来源于《湖南大学》期刊2017-06-02)

赵欣[3](2016)在《基于大规模并行处理的R语言运行时技术研究》一文中研究指出大数据背景下,行业应用数据呈爆炸性增长,统计分析的数据规模和处理复杂度不断增加,传统意义上的计算技术和信息系统的处理能力远远不能满足用户要求。随着高性能计算平台的不断发展,其在统计分析领域的应用开始广泛受到相关领域研究人员的关注,众多结合大数据平台的统计分析方法、从编译层面对编程语言进行优化的方法逐渐成为热门项目。作为深受统计学家追捧的编程工具R语言,和所有的解释型语言一样,存在着严重的性能弊端,需要利用并行方法提高代码执行性能。然而并行化程序设计的过程远比传统的串行化算法复杂的多,不仅需要数据分析程序员进行功能性的代码实现,还需要掌握很多分布式系统背景知识和并行程序设计技巧。上层数据分析和算法设计工作与底层复杂的并行化和分布式编程调试存在一个难以逾越的鸿沟,急需一种能够缩短普通程序员和常规程序设计方法距离的架构。首先,文章分析了R语言的特性。由于R语言是一门新兴的解释型统计学语言,没有系统的同类文献可供参考,因此本文先从源代码层面对R语言目前的实现方式进行了剖析,并着重从R语言的类型系统、向量化特性、函数式语言特性及与C语言结合等方面进行了系统性整理。然后对其运行时特性进行探讨,对比解释型语言和编译型语言在运行时的显着区别,并以目前的GNU R作为研究对象,构建了其运行时的执行框架,明确运行时阶段要处理的事务,如内存分配、数据通信等,为接下来的分布式并行系统运行时设计及优化奠定理论基础。其次,本文提出了基于R语言的分布式并行编程系统Rdp的设计思路。以提供一系列的支持R语言中常规向量化操作的并行编程接口作为系统的编程模型,采用消息传递接口(MPI)编程规范作为并行系统架构的主要实现方式,自顶向下分并行应用、并行接口、运行时环境(RTE)、操作系统及底层硬件几部分设计了基于R语言的并行运行时架构,并以RTE中的任务调度和资源分配任务为对象,对系统功能及API功能进行了设计。接下来,文章对系统的设计思路分层进行了实现与优化。按照底层系统环境交互、中间层调度工作节点及高层提供简易应用编程接口这叁层抽象出并行编程的API,并使用R中的C语言接口以高效的编程语言实现MPI的任务调度和分配。不同层次编程接口功能的划分,有利于用户或者开发人员根据使用需求自由选择编程粒度实现并行,同时以R语言中使用最为广泛的泛函apply函数家族作为主要优化对象,能够在尽量不改变用户编程习惯的前提下提供一套可以在高性能计算平台上的通用接口。最后是文章的实验测试部分。首先,将Rdp中主要函数接口的性能与snow包和parallel包中的对应函数性能进行了对比测试,实验表明Rdp在处理大数据集、可扩展性、负载均衡效果方面都较其他二者有显着提升。之后使用性能监控工具Rtrace对R语言运行时函数执行时间分配和内存使用情况等方面进行了分析,提出了相应的优化策略。最后通过TWIX函数包的数据测试,证明了Rdp的易用性和高效性。(本文来源于《国防科学技术大学》期刊2016-05-01)

刘纪平,吴立新,董春,张福浩,亢晓琛[4](2016)在《一种大规模空间数据流式并行处理方法研究》一文中研究指出针对空间数据的读写(I/O)时间占比过高问题,文章提出一种流式并行化方法:通过将空间计算过程与数据I/O过程相重迭,使传统并行空间计算方法中的性能提升瓶颈得到显着缓解;并且,方法所采用的数据分片策略,能够使数据单次I/O所产生的高内存使用率得到降低,进一步提高了具体地学算法的适用性。最后以地理国情普查基本统计分析中地表面积计算为例进行验证,结果表明:该算法的计算效率与内存使用率相对于直接并行方法均获得明显改善,且空间数据流式并行处理方法与具体地学算法耦合度低。该方法已成功应用于多个其他统计分析算法中。(本文来源于《测绘科学》期刊2016年01期)

谢昌凤[5](2015)在《大规模RDF数据的并行划分与分布式处理系统研究》一文中研究指出由于RDF(Resource Description Framework)数据模型的灵活性和可扩展性,越来越多的社区将它们的数据以RDF的格式进行发布。因此,分布式存储和处理RDF数据已经成为一个热点问题。现有的分布式解决方案虽然取得了一定的成效,但大多集中在分布式存储结构的设计和处理流程的优化,在任务负载均衡和通信量最小化方面的研究较少。基于超图模型的并行遍历树划分与分布式处理系统(Par Triple Bit),提出一种高效划分和分布处理超大规模RDF图数据的技术。这种技术根据RDF数据的特性,采用超图模型对数据进行抽象,以超边数据的一部分作为基本划分块,然后采用遍历树划分方法并行的放置路径上的基本划分块,以保证实体间连接关系的完整性。在放置时制定了相应的策略来对计算节点进行选取,以保证各计算节点的数据负载均匀和任务负载均衡,并提出基于启发式的查询任务分解策略,以最简化查询分解。在分布式处理方面,采用MPI消息传输协议提供的异步和非阻塞通信模型来进行数据的交互,借助分块变长整形差值压缩方法和并行流水来减少通信量,提高交互效率。此外,还实现了无锁窃取调度方式来对查询任务进行调度,提高并行度。在中间结果的合并过程中,提出一种批量合并方式来减少合并过程中key值的比对次数,提高合并效率。Par Triple Bit与目前较好的集中式RDF存储系统Triple Bit和RDF-3X,分布式RDF处理系统Hybrid(unone-on、dirtwo和untwo-on)相比:数据划分方面,平均预处理时间快数倍,数据冗余度最低,数据负载最均匀;查询性能方面,超出叁个分布式系统40%以上,超出两个集中式系统数倍甚至数十倍;可扩展性方面,随着计算节点数目的增加,查询性能呈线性或超线性提升;随着数据集规模的增大,查询语句的执行时间呈亚线性递增,因而系统的可扩展性较好。(本文来源于《华中科技大学》期刊2015-05-01)

杨景辉,程春泉,张继贤,黄国满[6](2015)在《GPU支持的SAR影像几何校正大规模并行处理》一文中研究指出目的几何校正(又称地理编码)是合成孔径雷达(SAR)影像处理流程中重要的一个步骤,具有一定的计算复杂度,需要用到几何定位模型。本文针对星载SAR影像,采用有理多项式系数(RPC)定位模型,提出了图形处理器(GPU)支持的几何校正大规模并行处理方法。方法该方法充分利用GPU计算资源强大及几何校正过程中每个像素处理步骤一致的特点,每次导入大量像素至GPU,为每个像素分配一个线程,每个线程执行有理函数计算、投影变换、插值采样等计算复杂度高的步骤,通过优化配置dim Grid和dim Block参数,提升GPU的并行性能。该方法通过分块处理实现SAR影像大幅面处理,且可适用于多个不同分块大小。结果实验结果显示其计算加速比为38 44,为全面客观地分析GPU并行处理的特点,还计算了整体加速比,通过多个实验分析影响整体加速性能的因素,提出大块读写提高I/O性能的优化方法。结论该方法形式简洁,通用性好,可适用于几乎所有的星载SAR影像、不同的影像幅面;且加速性能明显。(本文来源于《中国图象图形学报》期刊2015年03期)

崔树林,张旭,张树清,张军[7](2015)在《基于GPU的大规模栅格数据分块并行处理方法》一文中研究指出数学形态学运算是栅格数据处理的重要方法,具有较高的计算复杂度、并行度等特点,较容易发挥GPU众核高度并行执行的优势,以提高其计算效率。然而,有限的GPU全局存储器限制了其在大规模数据中的应用。文中在分析现有栅格数据并行方法的基础上,基于通用并行计算架构CUDA,设计一种适应大规模数据的分块处理方法。文中以经典的膨胀算法为例对分块处理方法进行测试。实验结果表明:与传统的CPU串行处理方法相比,该方法可以显着提高数据处理速度。(本文来源于《计算机技术与发展》期刊2015年03期)

杨典华[8](2014)在《协作式大规模地理栅格数据并行处理方法研究》一文中研究指出以高分辨率遥感卫星为代表的新一代数据获取技术取得了较大进步,地理栅格数据在时空分辨率、数据类型、覆盖面积等方面不断提高,为地理应用提供了更多的数据信息,然而这些提高也带来数据量几何级增长,但同时也致使传统的遥感数据处理方法无法满足大规模地理栅格数据计算与分析需求。因此,研究面向大规模地理栅格数据的高性能计算方法与体系,进而为提高开发效率和解决复杂地学问题的能力具有十分重要的意义。为了解决大规模栅格地理数据并行处理所面临的难题,本文系统研究高性能计算架构下大规模地理栅格数据并行处理方法,引入MPI (Message Passing Interface)和MP (Multi processing)作为基础并行环境,研究栅格数据处理算法程序必备的功能和必须的流程,综合所有算法的共性,采用设计模式思想,构造符合面向对象程序基本原则的系统框架体系,构建一种协作式大规模栅格数据的并行处理框架(Cooperative Big Geographic Raster Data Parallel Processing Framework, CBGRDPPF),并结合地理栅格数据并行类型与复杂度等处理任务特点,探讨了在此框架下进行地学栅格数据处理任务的协同处理方法和技术,分析不同参数和环境对其运行速度、并行效率的影响,实验验证局域并行效率,实现对并行处理框架的优化,从而建立一种解决复杂地学问题的并行开发协作模式,为地理栅格数据的高效处理提供一种新的解决方法和技术支撑。本文的主要研究成果体现在如下几个方面:(1)提出了一种大规模地理栅格数据并行处理算法的并行解耦方法以MP工和MP作为基础并行环境,将地理栅格计算部分和并行计算支撑部分分别进行抽象和封装,作为相互协作的部件予以松耦合地装配和执行,有效地分离并行计算体系与地学问题的强耦合。(2)构建了协作式大规模栅格数据的并行处理框架在地理栅格数据并行处理机制及并行解耦方法研究的基础上,建立了适合于协同开发的数据块分块、分发、缝合的数据类模型,为实现地学栅格数据协同并行奠定了基础;建立了核心算法的封装类模型及开发策略,实现了代码开发与算法细节分离,保证了并行计算与分析应用工作的协同。(3)提出了基于并行解耦思想的地理栅格数据全局计算并行化方法针对内存一次无法装载的大型栅格地理数据却要进行地理栅格数据的全局计算,分析地学处理算法原理,基于CBGRDPPF框架利用对数据的横向、纵向划分、过程数据的分块暂存等策略,使各个并行进程在占用有限的内存空间情况下,分块依次处理整个栅格数据,大大降低了开发算法程序的复杂度,从而实现复杂并行地理数据计算任务高效并行。(4)提出了基于并行解耦思想的地理栅格数据动态计算并行化方法动态计算主要是指一些栅格数据的聚类算法步骤未知,计算过程动态迭代。本文通过FCM算法为代表的聚类算法,基于CBGRDPPF框架,通过数据多策略的划分、序列化读取、计算同步和广播机制,实现一种动态计算的地理栅格数据并行处理方法,从而解决了不平衡计算量的并行化问题。(本文来源于《首都师范大学》期刊2014-05-26)

杨光[9](2014)在《大规模RDF数据并行查询处理系统》一文中研究指出RDF(Resource Description Framework)数据模型的提出是为了对网络对象进行建模,作为语义网发展的一部分。这种数据模型被很多领域使用,如维基百科,政府机构以及生物信息等。RDF数据集的量级正在成倍增长。现在,RDF数据集数量已经突破十亿个叁元组并继续增长着。爆炸式的RDF数据对现有分析以及处理数据的方式提出了严重的挑战。由于现有查询引擎在查询处理方面的缺陷,设计一种高效的RDF数据处理系统成为人们亟待解决的问题。大规模RDF数据并行查询处理系统(TripleParallel),提出了一种高效处理十亿级别RDF数据的技术。这种技术根据RDF数据的特性,采用图数据结构对RDF数据进行抽象并用图方式表示。为了提高SPARQL(SPARQL Protocol and RDF QueryLanguage)语句的查询处理速度,TripleParallel采用基于块粒度下的并行处理模型。针对查询计划生成,采用选择度估计的方式确定查询图中每个变量以及绑定模式的选择度。然后采用执行结构覆盖查询图的方式,确定查询计划的执行顺序。在块粒度处理方式中,建立并行处理模型,以块为单位,采用数据提取与数据操作分开的方式,并采用流水线处理的方式连接两个过程之间的操作。在提高并行度的同时,加强了预取数据与计算的重迭,缩减了整体查询的执行时间。在块内部处理方面,TripleParallel提出了并行处理连接方式。针对不同的数据操作,采取了进一步的优化,提升了处理速度。TripleParallel在块粒度处理和块内部处理的表现,使得在查询处理方面的相较于TripleBit查询时间减少了25%。一方面发挥了查询处理的优势,并减少了从生成计划到执行计划的时间,提高了整个处理过程的紧凑程度;另一方面采用了流水线方式进行处理,并从块粒度和块内部两个方面进行加速,实现了处理器的负载平衡,提高了在不同粒度间的并发执行效率。(本文来源于《华中科技大学》期刊2014-05-01)

吴文波,姚新宇,刘丽丽[10](2014)在《大规模最小二乘奇异值分解的并行处理方法》一文中研究指出大规模最小二乘问题求解中,直接进行奇异值分解会产生巨大的内存需求以及漫长的计算时间。为解决该问题,提出了一种基于迭代的并行处理方法。该方法利用奇异值分解降维的特性,通过迭代不断减小矩阵规模,直到可以直接使用奇异值分解求解。在迭代过程中,将矩阵分解为许多足够小的子矩阵,并行处理其奇异值分解过程,从而提升运行速度。实验结果表明,该方法即使是串行处理,也使得大规模最小二乘奇异值分解的时间成本及空间成本大大降低;而并行处理在双机条件下加速比接近200%。(本文来源于《计算机应用研究》期刊2014年11期)

大规模并行处理论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

随着大数据时代的到来,数据量正以指数级的形式增长,已经达到TB、PB级别,甚至ZB级别,其中很大一部分是文本数据。在文本数据飞速增长的背后,是它们所蕴含的无限价值,文本挖掘技术可以帮助人们从文本数据中发现知识、找出规律,从而产生价值。传统的文本挖掘方法不能有效地处理大规模文本数据,尤其是不能满足用户对时效性的要求,而云计算的出现和发展为快速、高效地处理大规模文本数据提供了解决方案。要想充分利用好云计算的并行计算能力和其动态资源的分配能力,从而有效地处理大规模文本数据,云计算环境下的大规模文本挖掘并行处理技术变得至关重要。鉴于此,本文以提高文本挖掘效率并且保持挖掘的准确率为目标,结合文本挖掘技术中的文本聚类和文本命名实体识别,分别从算法并行策略、算法并行与硬件协同策略、具体应用的并行算法设计以及并行资源高效管理四个方面,对云计算环境下的大规模文本挖掘并行处理技术展开研究。本文的主要工作如下:1.在算法并行策略研究方面,针对文本命名实体识别的条件随机场(CRF)模型在处理大规模文本数据时,参数估计周期长、时间效率差的问题,基于Hadoop平台提出了一种称为MapReduce CRF(MRCRF)的并行算法。MRCRF通过结合和并行化LBFGS和Viterbi两个子算法(即MRLB算法和MRVtb算法),来处理CRF中的两个耗时步骤。MRLB算法利用MapReduce框架提高了参数估计能力,MRVtb算法通过另一个MapReduce工作扩展了 Viterbi算法来推断输入序列最可能的状态序列。此外,还为MRCRF设计了 一种有效分割数据集的方法来平衡工作负载并最小化数据的复制。实验结果表明,MRCRF算法优于传统CRF模型,在保证准确性的前提下时间效率有了显着的提高。2.在算法并行与硬件协同策略研究方面,为了进一步提高大数据环境下文本命名实体识别的条件随机场(CRF)模型的性能,基于GFlink平台提出了一种CPU+GPU异构环境下的分布式异构CRF(DHCRF)的并行算法。DHCRF算法利用了叁阶段的Map和Reduce操作来提高性能,充分发挥了大数据环境中的CPU-GPU协同计算能力。此外,通过组合弹性数据分区和中间结果复用方法,对DHCRF进行了优化。执行弹性数据分区以保持负载平衡,中间结果复用方法减少了数据通信。大量实验结果表明,与在单个机器上实现的基本CRF算法和已有的并行CRF算法相比,DHCRF算法不仅在时间效率上有了明显提高而且还保持了算法识别的准确性。3.在具体应用的并行算法设计研究方面,针对大数据环境下缺乏一种有效的微博热点话题检测方法的问题,基于Spark平台提出了一种两阶段mic-mac热点话题检测(TMHTD)的并行聚类算法。为了提高检测的准确性,提出了叁种优化方法来优化TMHTD,优化方法包括:用于微聚类的文本选择,用于宏聚类的话题选择,以及用于single-pass聚类算法的细/粗粒度相似性计算的构造。为了处理大规模文本数据,本文设计了一组MapReduce作业,以高度可扩展的方式完成了热点话题检测。实验结果表明,TMHTD算法在微博热点话题检测的准确性和时间效率方面都优于已有的其它检测方法。4.在并行资源高效管理方面,针对文本挖掘算法在弹性云平台上并行处理时的不确定性带来计算任务的变更,可能需要对资源配置进行频繁更改,而弹性云计算平台尚未能在资源易用性上为用户解决资源配置难题的问题,本文利用云平台的弹性能决定所需的并行计算资源多少和评估云平台的特点,提出了新的弹性测量定义;并且根据文本数据集的特点和文本挖掘过程,提出了一种弹性测量模型。该模型不仅能用于云平台弹性值的精确计算,而且可以根据文本数据集的数量预测出所需要的并行资源的数量及其它性能指标,为用户提供了平台选择与资源配置指导,从而实现对并行资源的高效管理。数值计算结果验证了影响弹性的基本参数,模拟实验和真实环境下的实验结果都验证了所提出的测量模型不仅是正确有效的而且可以作为云平台弹性测量的通用模型。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

大规模并行处理论文参考文献

[1].黄春秋.大规模数据并行处理应用中的弹性任务调度问题研究[D].天津工业大学.2019

[2].艾玮.云计算环境下大规模文本挖掘并行处理技术研究[D].湖南大学.2017

[3].赵欣.基于大规模并行处理的R语言运行时技术研究[D].国防科学技术大学.2016

[4].刘纪平,吴立新,董春,张福浩,亢晓琛.一种大规模空间数据流式并行处理方法研究[J].测绘科学.2016

[5].谢昌凤.大规模RDF数据的并行划分与分布式处理系统研究[D].华中科技大学.2015

[6].杨景辉,程春泉,张继贤,黄国满.GPU支持的SAR影像几何校正大规模并行处理[J].中国图象图形学报.2015

[7].崔树林,张旭,张树清,张军.基于GPU的大规模栅格数据分块并行处理方法[J].计算机技术与发展.2015

[8].杨典华.协作式大规模地理栅格数据并行处理方法研究[D].首都师范大学.2014

[9].杨光.大规模RDF数据并行查询处理系统[D].华中科技大学.2014

[10].吴文波,姚新宇,刘丽丽.大规模最小二乘奇异值分解的并行处理方法[J].计算机应用研究.2014

论文知识图

和GPU结构对比图支持大数据集的VRGrid并行可视化模块大规模并行处理结构(Massi...多处理机簇(3)多处理机池结构:通常~#...系统流程图四川省电力公司大数据平台物理机部署

标签:;  ;  ;  ;  ;  ;  ;  

大规模并行处理论文_黄春秋
下载Doc文档

猜你喜欢