胡浩民[1]2003年在《基于RBF神经网络并行学习模型的数据分类及预测研究》文中进行了进一步梳理随着现代信息技术的迅速发展，许多领域都积累了大量的数据。我们渴望发现潜在于这些数据中的知识与规律。正是这一需求造就了数据挖掘学科的兴起及数据挖掘技术的发展。作为一个多学科交叉的综合性领域，数据挖掘涉及了数据库、统计学、机器学习、高性能计算、模式识别、神经网络和数据可视化等学科。数据分类与预测作为一种重要的挖掘技术有着广泛的应用。在这一研究方向，目前已提出了多种分类方法（如决策树归纳分类、贝叶斯分类、神经网络分类和K-最邻近分类等）和一些预测技术（如线性回归、非线性回归等）。然而，尚未发现有一种方法对所有数据的处理都优于其他方法[1]。由于时间序列数据库的日趋庞大及其挖掘的潜在意义，目前，时序数据挖掘研究已成为一个热点；然而,时间序列数据的非线性混沌特点，使得对它的挖掘成为难题。本文在分析与比较以上几种分类及预测方法的基础上，引入了径向基函数神经网络（Radial Basis Function Neural Network，简称RBFNN）对时间序列数据进行预测。在介绍该神经网络优点的同时，也阐述了其中较为棘手的难点。文中使用了层次遗传算法作为神经网络学习方法。在分析该方法可行性及效率的基础上，本文提出了用粗粒度并行方法进行径向基函数神经网络训练的思想，并建立了求解模型，旨在取得较好的预测效果。最后，本文应用上述并行模型优化的RBF神经网络对非线性函数值以及证券个股收盘价进行预测。实验结果表明，当数据无噪声时，预测效率与精度都非常高；在处理带噪声，并呈现混沌特性的数据时，虽有一定的误差，但预测结果还是在可以接受的范围内。
张海军[2]2015年在《基于云计算的神经网络并行实现及其学习方法研究》文中进行了进一步梳理随着网络技术和软件技术及云计算技术的高速发展,当前数据正以海量的方式递增,并已经进入了大数据时代。真实世界数据,比如数码照片、基因表达谱、人脸数据集或网页文本,通常具有维数高和数据量大的特点。对于传统的人工智能技术和模式识别技术等都面临如何在大数据时代下实现数据处理的挑战。比如,对于大规模的人脸数据集分类,一台计算机或工作站因为缺乏速度和存储容量很难适应实际需求。为此,非常有必要研究在大数据环境下如何实现基于多计算机集群的人工智能技术和模式识别技术。当采用人工智能方法,比如利用神经网络对相关数据进行处理时,若训练样本的数量规模不大时,单个神经网络的泛化能力和运行时间是比较理想的。然而随着识别类别及数目增加,神经网络的结构也将变得更加复杂,导致神经网络训练时间变得更长,收敛速度变得更慢,容易陷入局部最小值和更差的泛化能力等。为了解决这些问题,本论文研究和设计了由多个神经网络组成的集成神经网络(Hybrid Neural Networks,HNNs)去代替复杂的单一神经网络,并且提出了一种新颖的半监督学习算法——嵌入Softmax回归的深度信念网络(Deep Belief Network Embedded with Softmax Regress,DBNESR)作为分类器的深度学习方法。本论文所做的主要贡献如下:(1)本文提出了一种在云计算集群上,基于Map-Reduce的多层神经网络并行实现方法。也即为了满足大数据处理的需要,本文提出了一种在云计算集群上,基于Map-Reduce的误差反传BP算法被训练的全连接多层神经网络的有效映射机制。针对一个在云计算集群上的并行BP算法和一个在单一处理机上的串行BP算法,从理论上推导了实现算法所需要的时间,并且评估了在云计算集群上的并行BP算法及性能参数(加速比、数据节点的最佳数目和最小数目等)。实验结果证明,本文提出的并行BP算法比现有的算法有更好的加速比和更快的收敛速率及更少的迭代次数。(2)本文提出了一种在云计算集群上,基于Map-Reduce的径向基函数神经网络的并行实现方法,并进行了情感计算等应用研究。也即借助于云计算平台,通过网络流通和组合提供的计算能力,实现了径向基函数神经网络及学习算法的并行训练和分类识别应用,从而使径向基函数神经网络能够进行跨平台的学习,以及处理人脸识别和语音识别及情感计算等海量的高维数据。实验结果表明,本文提出的算法比基于单一计算机的传统串行训练神经网络学习算法有更快的学习速度,更高的识别率,更大的数据处理能力。(3)本文提出了一种半监督学习算法——内嵌Softmax回归的深度信念网络(DBNESR),并且设计了多种基于监督学习的分类器:BP、HBPNNs、RBF、HRBFNNs、SVM、多分类决策融合分类器(Multiple Classification Decision Fusion Classifier,MCDFC)——集成HBPNNs-HRBFNNs-SVM分类器。实验结果表明,半监督深度算法DBNESR具有较佳的、较高、较稳定的识别率;半监督学习算法比所有的监督学习算法有更好的效果;集成神经网络比单一神经网络有更好的效果;平均识别率和方差分别为BP<HBPNNs≈RBF<HRBFNNs≈SVM<MCDFC<DBNESR和BP>RBF>HBPNNs>HRBFNNs>SVM>MCDFC>DBNESR;这反映了DBNESR具有模拟复杂人工智能任务的能力。
蔺杰[3]2005年在《数据融合的神经计算方法》文中研究指明数据融合技术就是研究如何有效地综合利用多传感器信息，克服信息的不完备性和不确定性，更加准确、全面地认识和描述被测对象，从而做出正确的判断和决策，近年来已成为各国学者研究的热点。多传感器数据融合技术已经广泛用于模式识别、目标跟踪、图像处理和机器人等领域。尽管数据融合技术发展迅速，但它仍然是一个远未成熟的领域，尚未形成完整的理论，还有许多问题需要解决。神经网络多传感器数据融合便于建立知识库，能实现知识自动获取及联想推理以表达不确定环境的复杂关系，并且具有大规模并行处理能力，同时又有一定的容错性，对先验知识的依赖性小，因此引起了越来越多人的研究兴趣。人工神经网络是以神经元为顶点、顶点间的连接为边的有向图，是一种大规模的非线性动力学系统。神经网络数据融合系统的突出优点是可以实现实时处理，并且通过对网络的训练，自动找到数据融合的方法，因此可以节省大量的运算和对先验信息的需求。但神经网络多传感器数据融合技术还缺乏统一的理论基础，神经网络种类和参数的选择还处在经验层次上，各自为政，阻碍了神经网络数据融合的应用和交流；很多算法还不完善，对新的应用领域的应用上还远远不能符合要求。 本文在对神经计算在多传感器数据融合算法的基础上进行了整理、归纳，并进一步深入研究，将其应用与人类思维模型的构造，主要研究内容和取得的成果如下： (1) 实用性地分析、归纳、总结了数据融合、人工神经网络以及人工神经网络数据融合的系统理论和方法。 (2) 在神经网络的基础理论中介绍了神经网络的基本概念、发展过程和应用；分析了网络的基本工作原理以及神经网络与模式识别的关系，定性地论证了神经网络融合识别的基本机理。 (3) 研究可用于数据融合的模块化神经网络与模糊理论相结合。模块化神经刚络具有单一神经网络无法比拟的优势，其不足之处又可以通过模糊理论的引入得以弥补。使用模糊推理系统处理系统输入可以大大减少神经网络模块化带来的系统复杂度。 (4) 模糊神经网络在融合识别中的应用。根据多源数据的特征具有高维数的特点和BP网络在解决此类问题中的缺陷，研究了CPN网络学习算法的几种改进方法，提出了模糊隐层节点动态调整的网络学习方式；模糊网络中传感器的管理也在这里进行了讨论。 (5) 在模块化神经网络和模糊理论的基础上提出了人脑的思维模型。从本文研究的结果看，神经网络在数据融合中的应用具有重要的价值和优势，但也有许多问题需要进一步研究。目前的人工神经网络模型还只是对人类大脑神经网络的很有限的仿真。但是，从目前的研究趋势上来看，基于生命科学的方法将在未来信息处理领域变得越来越重要，必将发挥更大的作用。
胡浩民, 马德云[4]2005年在《基于层次遗传算法的RBF神经网络并行训练方法研究》文中研究指明本文探讨了径向基函数(RadialBasisFunction ,简称RBF)神经网络的工作原理及特点,针对该神经网络在时序数据预测中的应用,提出了用层次遗传算法提高网络学习效果的策略。同时根据数据预测中,处理大训练集的特点,提出了一种并行训练RBF神经网络的方法。
郭吉政[5]2015年在《免疫卷积神经网络并行优化及其嵌入式系统应用》文中进行了进一步梳理当前图像识别系统应用的领域越来越广泛,从工业智能监控一直到汽车无人驾驶乃至太空探索都应用到了图像识别系统。卷积神经网络是将人工神经网络与深度学习技术相结合而产生的一个新型人工神经网络分支方法，具有局部感知区域、层次化结构、特征提取和分类过程相结合的全局训练等特点，在图像识别领域获得了广泛的应用。进化计算，人工神经网络和人工免疫系统在学习方面存在一些共性，但是又有各自的特点。免疫系统的适应、学习和记忆能力不仅适用于优化领域，也适合开发用于机器学习的人工免疫系统，虽然现在已经出现了很多学习算法和理论，但没有一种是完善和万能的，目前只能互补。本文通过对国内外有关卷积神经网络，人工免疫系统，嵌入式图像处理系统和GPU加速并行计算的发展现状和研究成果进行整理和总结。并且对人工免疫网络和卷积神经网络的算法和结构进行详细阐述，通过人工免疫系统与卷积神经网络结合，提出了一种新的图像识别算法，免疫卷积神经网络算法，最后通过采用NVIDIA公司GPU加速并行计算，提高识别速度，满足当前嵌入式设备实时性需求，并且搭建嵌入式图像实时识别系统。本文主要研究内容包括以下几个方面：1.对卷积神经网络的网络结构以及参数进行分析，针对卷积神经网络网络结构复杂，训练耗时长，容易出现过拟合并且误分类高等缺点，本文基于人工免疫算法在模式识别的优点用于改进卷积神经网络算法，提出了一种免疫卷积神经网络算法，该算法综合了网络节点的定位与参数的调整以及能够动态调节基函数的平滑因子。2.采用NVIDIA公司最新推出的cuDNN深度神经网络库，用来加速机器学习，使得该免疫卷积神经网络模型可以用到对实时性要求很高的嵌入式平台。3.完成多功能图像识别系统ARM+linux平台的搭建，包括linux操作系统的裁剪、各硬件模块的驱动部分的编写、以及传感器信号的预处理，实现免疫卷积神经网络并行优化算法在嵌入式图像识别的应用研究。
吕开云[6]2012年在《黄河小浪底水利枢纽大坝变形预测方法研究与分析》文中研究表明论文根据小浪底水利枢纽大坝的变形监测数据,应用支持向量机建立大坝变形预测模型。当监测数据充分时,利用主成分分析对支持向量机的自变量进行重构,在数据缺失时,利用概率主成分进行识别,提高了拟合和预测精度。并将相关系数引入到大坝位移最优影响因子的选定中,确定了影响因子的相关系数,得出不同影响因子的重要度信息,结果表明Pearson相关系数和支持向量机的结合可以获得较好的效果。还通过灰色关联分析选定大坝变形影响因子的主元素,作为支持向量机的输入向量,进行了模拟预测,结果优于一般方法。最后从影响GM(1,1)模型与SVM模型的因素出发,分别对GM(1,1)模型进行改进并对SVM模型的输入数据进行处理,同时利用权值对两者进行组合形成变异时序GM-SVM模型。经过实测数据检验,通过变异时间序列回归所建立的GM-SVM模型具有较高的模拟及预测精度。
宋光慧[7]2016年在《基于迁移学习与深度卷积特征的图像标注方法研究》文中研究表明随着移动互联网技术的快速发展,越来越多的图像信息被以数字方式存储到互联网上,图像已经成为文本之后又一个重要的网络信息载体。目前每天上传到网络上的图片数以亿计,面对如此海量的图像大数据,如何快速而准确的检索出所需要的图像资源是一个十分重要并且极具现实意义的研究课题。图像语义自动标注是基于文本的图像检索技术的核心研究内容,其本质是利用已标注的图像集自动学习语义概念空间与视觉特征空间的映射关系模型,并用此模型标注新图像。针对传统人工设计的视觉特征的局限性,以近年来深度卷积神经网络在图像处理领域所取得的成果为基础,并在互联网图像大数据的驱动下,本文主要围绕深度卷积神经网络的特征自学习能力如何在图像标注中被有效利用展开研究,重点关注深度卷积特征在图像单标签标注、多标签标注和多特征融合标注叁方面的内容,主要工作概括如下:(1)针对特定应用领域数据集已标注图像样本数量不足的问题,利用相关领域的图像大数据集,提出了基于迁移学习的深度卷积特征学习方法。该方法主要针对规模不大,样本数量有限的特定领域数据集使用深度卷积神经网络时容易产生过拟合而导致无法训练与学习的问题;通过迁移学习的方法,首先利用互联网上的大型公共图像数据集对深度网络进行预训练,以学习图像的底层通用视觉特征;然后利用目标数据集对网络参数进行微调,进而学习图像的中高级视觉特征;最终的实验结果表明该方法使小规模图像数据集使用深度学习的方法成为可能,并且有效的提升了图像的分类与标注性能。(2)针对图像数据集中相似度较高的类别之间容易产生样本误分类的问题,基于迁移学习与精细分类的思想,提出了两级层次特征学习的图像分类与标注方法。通过对预分类实验数据的分析,实验表明大部分标注错误的样本都产生在相似度较高的图像类别之间;为了能够尽量减少相似样本的误分类数量,本文首先根据通用特征将具有较高相似度的图像类别划分到同一个子集;然后利用深度卷积神经网络的特征学习能力,提取相似度较高的图像类别之间的差异特征;最后整合通用特征与差异特征,进而提出了基于两级层次特征学习的图像标注方法,有效的提高了图像的标注精度。(3)针对多标签图像全局特征提取困难与表示能力不足的问题,通过修改网络的损失函数,提出了基于深度卷积特征的多标签图像排序方法。为了将深度卷积神经网络的特征自学习能力扩展到多标签图像标注任务中,本文修改了用于单标签分类的网络模型的损失函数,采用多项逻辑斯特损失以适应多标签图像数据,并重新训练了网络;最后提取到更具有全局特征表示能力的深度卷积特征,并基于该特征对图像多标签进行排序,从而更完整的标注了图像的语义信息。(4)针对图像大数据背景下,如何充分利用多源异构图像特征的问题,提出了基于多核学习的多特征融合图像标注方法。大数据时代的图像资源除了图像本身以外,通常还可以获取与图像相关的拍摄时间、位置、经纬度、高度、周边环境等信息;针对图像的语义标注任务,本文将与图像相关的描述性信息也转化为图像的基本特征之一,并与深度卷积特征相融合,提出了基于多核学习的多特征融合图像标注方法,实验结果表明该方法能够更充分和准确的反映图像的语义信息。
史慧敏[8]2009年在《城市路网实时动态交通信息预测方法的研究》文中研究表明智能交通系统(Intelligent Transportation Systems,ITS)是目前国际公认的缓解城市交通拥挤的最佳途径。道路交通信息是所有ITS项目不可缺少的前提和主要内容。如何在短时间内得到这些信息,以及如何根据这些信息快速确定出最佳行驶路径,已成为ITS领域的一个前沿问题,交通路网短时交通信息预测理论、模型与算法的优劣直接影响整个ITS的实施。交通状况信息中最基本的参数就是通过路段的交通流量和旅行时间,它们代表着路段的物理属性和交通特性,也是用户所关心的最直接指标。短时交通信息预测可以通过城市交通信息发布平台为出行者提供实时的交通信息,帮助他们进行路径的选择及诱导。人工神经网络由于其良好的非线性映射能力,已在交通预测中得到广泛应用。训练神经网络常采用BP(Back Propagation)算法,但BP算法具有收敛速度慢,易陷入局部最小的缺点。为了加快神经网络的学习速率,许多并行学习算法被相继提出,本文采用一种并行非线性优化技术训练神经网络,实现有检测器路段的交通流预测。利用并行变尺度拟牛顿法(Self-Scaling Parallel Quasi-Newton,SSPQN)改进BP算法,每次迭代时产生多个搜索方向,各并行子任务在不同的方向上执行非精确线性搜索以寻找最优点。并在MPICH并行环境下对上述算法进行测试分析。实验结果表明在达到相同训练精度的前提下,SSPQN算法有效提高了收敛速度,预测效果优于BP算法,基本达到实测路况交通流预测的要求。为了实现路网中任意路段的流量预测,针对无检测器路段,使用多元统计分析中的多维标度法对城市路网相关性进行分析,实现对整个路网的划分,借助同类交叉口的有检测器路段的流量对无检测器路段的流量进行预测。最后采用旅行时间函数模型经过参数标定,建立适用于国内城市的旅行时间估计模型,进而建立短时旅行时间的预测模型,并在VISSIM仿真平台上对该模型进行验证,实验结果表明满足动态交通诱导的要求。
曹灿[9]2011年在《支持向量机预测在我国城镇失业率研究中的实证分析》文中研究表明失业问题始终是当今世界各国社会经济发展的重大问题,它既是综合性的经济问题,又是复杂的社会问题。同时,失业是宏观经济中特别重要的叁个指标之一,因此研究我国城镇失业率具有积极的现实意义论文中的数据来自于中华人民共和国统计局、国家统计数据库、国研网与和讯网,分别应用多元回归分析和支持向量回归法对我国城镇失业率进行预测,最后得出基于支持向量回归法优于多元回归分析方法。文章的主要内容是：本文绪论介绍了论文的背景和研究意义,对失业率与支持向量机进行了系统研究。第二章介绍了相关的预测方法,分别从定性预测和定量预测进行了研究。在定量预测中主要介绍了时间序列预测、多元回归预测、灰色预测、人工神经网络预测、支持向量回归和组合预测。第叁章介绍了支持向量机的核心理论。其内容主要包括机器学习、统计学习理论和支持向量机叁个方面。支持向量机方法是基于统计学习理论的一种算法,其基本理论就是VC维和结构风险最小化原理。第四章应用多元线性回归法、非线性回归法、神经网络法、线性核函数的支持向量机法、高斯径向基核函数的支持向量机法对我国城镇失业率进行了实证分析。这五种方法从曲线拟合图、拟合相对误差、拟合精度叁个方面进行比较,得出支持向量机回归法是一种较理想的曲线拟合法。支持向量机回归法选取线性核函数和高斯径向基核函数对我国城镇失业率进行拟合,其拟合精度分别是0.177%和0.195%。最后,文章应用上述五种方法对2010年至2015年我国城镇失业率进行预测,并得出其预测结果。
参考文献：
[1]. 基于RBF神经网络并行学习模型的数据分类及预测研究[D]. 胡浩民. 上海师范大学. 2003
[2]. 基于云计算的神经网络并行实现及其学习方法研究[D]. 张海军. 华南理工大学. 2015
[3]. 数据融合的神经计算方法[D]. 蔺杰. 浙江大学. 2005
[4]. 基于层次遗传算法的RBF神经网络并行训练方法研究[J]. 胡浩民, 马德云. 福建电脑. 2005
[5]. 免疫卷积神经网络并行优化及其嵌入式系统应用[D]. 郭吉政. 东华大学. 2015
[6]. 黄河小浪底水利枢纽大坝变形预测方法研究与分析[D]. 吕开云. 中国矿业大学(北京). 2012
[7]. 基于迁移学习与深度卷积特征的图像标注方法研究[D]. 宋光慧. 浙江大学. 2016
[8]. 城市路网实时动态交通信息预测方法的研究[D]. 史慧敏. 大连理工大学. 2009
[9]. 支持向量机预测在我国城镇失业率研究中的实证分析[D]. 曹灿. 西南交通大学. 2011
标签：自动化技术论文; 机器学习论文; 支持向量机论文; 卷积论文; rbf神经网络论文; 神经网络算法论文; 深度学习算法论文; 大数据论文; 卷积神经网络论文; 网络模型论文; 预测模型论文; 图像深度论文; 数据融合论文; 图像融合论文; 监督学习论文; 并行处理论文; 分类数据论文; 能力模型论文; 系统学习论文;