数据约简论文_胡志刚,李佳,郑美光

导读:本文包含了数据约简论文开题报告文献综述、选题提纲参考文献及外文文献翻译,主要关键词:数据,粗糙,属性,小生境,超图,神经网络,工作流。

数据约简论文文献综述

胡志刚,李佳,郑美光[1](2019)在《云环境下面向负载均衡的数据密集型工作流的数据约简策略》一文中研究指出如何对数据密集型工作流应用进行高效合理地调度成为云计算领域亟待解决的关键问题之一。针对此问题,构造数据密集型工作流的有向超图模型,提出了数据支持能力概念,通过基于数据支持能力的合并操作对模型进行约简。最后优化超图多层剖分算法,提出数据约简的数据密集型工作流调度策略HEFT-P。研究结果表明,HEFT-P相比典型的工作流调度策略HEFT、CPOP、MCP,能够很好地对数据密集型工作流进行约简优化,获得较少的调度时间。(本文来源于《计算机应用研究》期刊2019年08期)

陈衡[2](2017)在《大数据约简技术应用研究》一文中研究指出本文根据大数据处理形式的不同,总结了大数据处理系统的约简理论与方法 ;简要综述了大数据的分析技术,分析了大数据优化的关键环节;提出了可能的研究方向。(本文来源于《信息技术与信息化》期刊2017年03期)

陈衡[3](2017)在《一种基于动态降维的数据约简方法》一文中研究指出根据数据处理形式的不同,提出基于动态降维的数据约简方法和多维度动态降维算法。通过引入数据冗余删除理论,降低数据的冗余程度;采用数据降维技术,实现数据清洗,数据结构并行,提升核心数据的知识表示能力。最后通过实验验证了本方法的有效性。(本文来源于《鸡西大学学报》期刊2017年03期)

刘威,刘尚,白润才,周璇,周定宁[4](2017)在《动态数据约简的神经网络分类器训练方法研究》一文中研究指出针对神经网络分类器训练时间长、泛化能力差的问题,提出了一种基于动态数据约简的神经网络分类器训练方法(DDR)。该训练方法在训练过程中赋给每个训练样本一个权重值作为样本的重要性度量,依据每次网络迭代训练样本的分类错误率动态更新每个训练样本的权重值,之后依据样本的权重值来约简训练样本,从而增加易错分类的边界样本比重,减少冗余核样本的作用。数值实验表明,基于权重的动态数据约简神经网络训练方法不仅大幅缩短了网络的训练时间,而且还能够显着提升网络的分类泛化能力。(本文来源于《智能系统学报》期刊2017年02期)

李晨,王亚茹,岳士弘[5](2016)在《基于张开角测度的数据约简》一文中研究指出数据约简是包括数据压缩、数据调整和特征提取在内的数据挖掘技术中的重要课题,但已有的数据约简方法主要聚焦在特征或者维度的约简,而针对样本个数的约简方法,往往是针对具体的数据集开发,缺乏一般性。针对数据集中数据分布的一般特征,定义一种新的基于张开角的测度。该测度能够区分数据集中核心对象和边界对象分布的本质区别,实现数据集中以核心对象为中心的数据压缩。通过对UCI公共测试平台上20个具有不同特征的典型样本集进行数据约简和测试,结果表明:约简能够有效地提取数据集中的核心目标;通过对约简前后数据集采用经典K均值算法聚类,发现约简后数据集中聚类正确率明显高于约简前数据集。(本文来源于《传感器与微系统》期刊2016年04期)

KHOIRUDIN[6](2015)在《基于GPU的数据约简》一文中研究指出图形处理器(GPU)作为数据并行协处理器越来越受到应用程序开发人员的欢迎。此外,图形处理器通用程序设计的研究发展非常快速,最基本是进行GPU图形计算,而目前不仅用于图形计算,还应用于很多其他的应用程序。而且GPU变得更便宜且具有超高计算能力。数据约简是粗糙理论及其应用的关键问题所在。粗糙集是众多数据挖掘技术中最有用的方法之一。本文的研究重点是通过GPU和CUDA编程来实现快速数据约简(发现最小数据集)。本文需要解决两个主要问题:一是使用粗糙集理论实现数据简化的过程(发现最小数据集)。二是通过GPU使用CUDA编程。本文试图在GPU上使用共享内存和线程块来改善数据简化过程,使数据处理更快,效率更高。实验结果证明,利用GPU比使用CPU具有更快速更有效的计算性能。(本文来源于《南昌大学》期刊2015-05-26)

李想[7](2014)在《粗糙集理论中数据约简方法在电子商务中的应用研究》一文中研究指出粗糙集理论作为一种数学工具,能处理知识的模糊性和不确定性等问题。求核属性和属性约简是粗糙集理论较为集中研究的课题,核属性是所有属性中最为核心的部分,在整个属性约简甚至最终的规则提取集中起到至关重要的作用;属性约简的目的是通过删除不相关或不重要的属性用尽量少而精的信息来表达原数据所表达的信息,已经被证明是NP-hard问题。本文在分析常用的求核属性和属性约简算法的优缺点时发现,在众多算法中大多只适用于相容决策表,而对决策表的不相容性考虑的甚少。本文提出了求核属性和属性约简的分级差别矩阵算法,根据决策表是否相容而进行不同的处理。在求核属性中,因为处理不相容决策表时,现有文献提出的改进的差别矩阵求核方法比较合理和有效,所以保留其优点,在其思想的延伸下,提出分级差别矩阵方法,新方法是通过决策属性的值进行划分,即论域的划分,通过划分的对象域形成分级差别矩阵,以分级差别矩阵和原有的差别矩阵得到的核可能是核属性为前提,确定最终的核属性。处理相容决策表时,原有方法无法得到差别矩阵时可直接用本文的分级差别矩阵求核。两差别矩阵求核方法有各自的优缺点,但是又有一定的联系,实例证明本文提出的分级差别矩阵在原有差别矩阵得不到核的情况下,可以求出属性核,证明了算法的有效性。把提出的分级差别矩阵运用到属性约简方法研究中,以求核方法中得到的可能核为出发点,求得约简集,获得决策表的约简模型。实例分析验证了两个算法的有效性。同时研究这两个算法在电子商务数据约简中的实际应用。(本文来源于《东北林业大学》期刊2014-04-20)

徐雪松[8](2013)在《基于免疫记忆共享机制的工业数据约简方法》一文中研究指出针对不确定性工业数据多元、异类的特性,提出一种基于免疫记忆机制的粗糙集属性约简方法。将粗糙集属性核参数作为疫苗对抗体进行编码。在免疫克隆选择过程中引入小生境免疫记忆与共享机制进行协同优化,克服进化策略中交叉和变异算子操作的盲目性,提高抗体群分布的多样性及稳定性,促进原始抗体群及记忆库中优良个体的保存。将属性的分类近似标准作为适应度目标进行优化,增强优秀个体获得克隆扩增、实现亲和力成熟的机会。实验仿真及工业故障诊断对比实验结果表明,该算法对于工业数据属性决策约简快速且有效。(本文来源于《计算机集成制造系统》期刊2013年11期)

郑世明,朱子坤[9](2013)在《模拟植物生长的电网调度数据约简算法研究》一文中研究指出对电网调度数据进行数据挖掘是进行深入关联分析和处理的有效手段,采用粗糙集对数据进行建模并采用属性约简算法简化处理难度,是目前可行的一种方法。随着电网调度数据中对象数量的不断膨胀,相关属性组合也呈爆炸式增长,寻找最小属性约简集合已经被证明是个NP难的问题。目前已有的算法受属性约简问题中参数难以定义、优化目标函数不确定等因素的影响,容易在搜索结果时陷入局部最优而无法获得理想的结果。提出一种模拟植物生长寻找最小属性约简的新算法,通过植物的向光性来搜索属性集合的可行解。理论分析和实验表明,该算法不仅复杂度较低,而且能获得更小的属性约简集。(本文来源于《广西电力》期刊2013年03期)

熊传宇[10](2013)在《基于Map-Reduce的海量数据约简算法研究》一文中研究指出随着互联网技术的兴起和数据库的广泛运用,人们对数据越来越敏感,越来越依赖。而随着大量的互联网的应用的出现,互联网上的数据出现了几何级数的增加,如何对这些数据进行有效的处理,从中提取出有价值的信息,成了学者们重点研究的对象。目前在信息处理方面已经出现了基于数据挖掘的简单分析技术,但是实用的海量数据的信息处理技术还不够成熟。因此,找到一种有效的,合理的处理大规模数据的方法,显得极为重要。目前,海量数据的约简是一个研究热点。本文以基于粗糙集的约简算法即属性约简为基础,属性约简可以有效的删除数据集合中冗余的属性,提取出最重要的属性。主要研究和利用Hadoop分布式文件系统和Map-Reduce并行计算工具,从hash快速约简算法中提取出并行点,设计出了一种基于Map-Reduce的海量数据并行约简算法。本文的主要研究内容如下:1.比较和分析了几种大数据约简算法。分析了两种增量约简算法,属性增量约简算法和对象增量约简算法,并比较其优点和缺点;同时还介绍了两种并行约简算法,利用MPI语言的并行约简算法和一种分布式的并行约简算法,并分别说明了这两种算法的优劣点和适用范围。2.提出了一种海量知识数据的并行约简算法。基于目前对海量数据约简应用的需要,本文在前人的研究基础上,从hash快速约简算法中提取出并行点,利用Hadoop分布式文件系统和Map-Reduce并行计算工具,提出了一种基于Map-Reduce计算模型的海量数据并行约简算法。该算法通过将文件进行分割分配给各个节点,在各个节点的Map过程对属性集合进行hash压缩和求核,然后通过主控进程求出核和不一致集合后,在Reduce过程对余下属性求重要度筛选出其它约简结果,最后合并各节点结果得到最后的约简。3.通过具体的理论分析了算法的加速比和时间复杂度,同时用具体的实验证明了算法的正确性和有效性。通过将标准UCI机器学习库的数据进行复制得到大数据的环境,在Eclipse中编程实现具体的算法,在Cygwin模拟环境中进行实验,实验结果证实了该Map-Reduce并行约简算法可以有效的对海量数据进行处理,为有效处理海量数据提供了一种新思路。(本文来源于《武汉理工大学》期刊2013-04-01)

数据约简论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

本文根据大数据处理形式的不同,总结了大数据处理系统的约简理论与方法 ;简要综述了大数据的分析技术,分析了大数据优化的关键环节;提出了可能的研究方向。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

数据约简论文参考文献

[1].胡志刚,李佳,郑美光.云环境下面向负载均衡的数据密集型工作流的数据约简策略[J].计算机应用研究.2019

[2].陈衡.大数据约简技术应用研究[J].信息技术与信息化.2017

[3].陈衡.一种基于动态降维的数据约简方法[J].鸡西大学学报.2017

[4].刘威,刘尚,白润才,周璇,周定宁.动态数据约简的神经网络分类器训练方法研究[J].智能系统学报.2017

[5].李晨,王亚茹,岳士弘.基于张开角测度的数据约简[J].传感器与微系统.2016

[6].KHOIRUDIN.基于GPU的数据约简[D].南昌大学.2015

[7].李想.粗糙集理论中数据约简方法在电子商务中的应用研究[D].东北林业大学.2014

[8].徐雪松.基于免疫记忆共享机制的工业数据约简方法[J].计算机集成制造系统.2013

[9].郑世明,朱子坤.模拟植物生长的电网调度数据约简算法研究[J].广西电力.2013

[10].熊传宇.基于Map-Reduce的海量数据约简算法研究[D].武汉理工大学.2013

论文知识图

通用节点的采样约简次数显示了SSR方法在采样数据约简...移动轨迹的最优线段简化误差阈值对网络能量消耗的影响中还可以观察到两种复合型方法DDP+DD...3.8 Yale 人脸库经 Isomap 数据约简

标签:;  ;  ;  ;  ;  ;  ;  

数据约简论文_胡志刚,李佳,郑美光
下载Doc文档

猜你喜欢