多维数据建模工具的设计与实现

多维数据建模工具的设计与实现

徐义峰[1]2004年在《多维数据建模工具的设计与实现》文中进行了进一步梳理数据仓库技术是二十世纪九十年代计算机应用技术的一个研究热点,用以满足用户不断增长的分析处理数据、获取信息的要求。建立数据仓库系统有利于企业提高自身的竞争能力,更向用户提供了有价值的信息,实现了双赢。 本文主要分析研究了数据仓库系统中的用户工具。用户工具用于帮助用户获取数据仓库中的信息,其中主要包括联机分析处理、多维分析统计、报表以及图形工具等。 本文提出并设计了基于关系的叁层OLAP工具的体系结构,分析了各层的功能以及各模块划分。同时设计并实现了OLAP工具中的多维数据建模工具,其中包括数据源管理、维度管理以及基于星型模型的多维主题管理等。 本文提出并实现了多维数据建模中有关元数据的结构定义,以及利用XML来实现元数据的记录。在OLAP多维建模工具中采用了XML作为元数据交换的标准,从而实现各个功能构件的集成与交互。 在分析研究的过程中,本文分析了在Delphi中关系数据访问、多维数据访问以及XML数据的访问方法;并通过OLAP多维建模的过程,说明了如何利用这些方法和原则来实现数据仓库系统的OLAP多维数据建模工具。

张可新[2]2007年在《基于数据仓库的企业运营决策支持系统》文中研究表明随着技术的进步和中国加入WTO,汽车制造行业的竞争日益加剧。商业压力和机遇促使经营者的兴趣转移到数仓库上。同时为了适应激烈的市场竞争环境,理应充分利用业务支撑系统产生的大量宝贵的数据资源,从这些大量的业务数据中提出有用的信息,实现对信息的智能化加工和处理,为市场经营工作提供及时、准确、科学的决策依据。所以用数据仓库技术来构建企业运营决策支持系统是必然的选择。本文阐述了决策支持系统、数据仓库、OLAP、数据挖掘的基本理论,并以某汽车制造企业运营决策支持系统的数据仓库的设计与实现过程为例着重讨论了数据建模、ETL和B/S模式的前端展示平台的实现技术部分并给出了基于数据仓库的决策支持系统的实现技术方案。

王媛[3]2016年在《基于数据仓库和聚类挖掘的热计量分析》文中提出随着城市集中供热系统的普及,出现一些和供热质量密切相关的问题,如供热温度偏低或偏高、用户偷水盗热、热计量表质量问题造成读数异常等现象。对于传统的数据库,要从庞大的记录中获取有效决策信息是费时而繁琐的。数据仓库是用于决策的数据存储技术,数据挖掘是用于发现有趣知识的技术。在尤其是金融、证券、销售等行业,很多企业都建有自己的数据仓库并从中获得收益。基于以上因素,论文采用济南普赛技术有限公司和济南热力公司合作的项目——供暖计量平台中的热计量数据作为研究对象,以研究用户采暖情况及其异常原因为目的,论文提出系统化解决方案,对系统每个模块都进行理论性和实践性研究。首先,论文确定课题研究意义后,对数据仓库和数据挖掘技术进行了理论性方案研究,确定了其应用于集中供热领域的可行性方案。根据研究内容提出系统方案设计架构;确定研究主题、粒度,选用建模工具PowerDesigner进行星型架构逻辑、物理模型设计。然后,基于SQLSERVER的SSIS组件数据抽取速度的高效性能,论文采用该组件对源数据实现抽取、转换、加载操作,实现时间维度表、地理维度表和事实表不同的数据抽取方案设计,将源数据库中组织性差、分散的数据加载到统一的数据仓库中。针对ETL过程中的技术瓶颈聚合组件,进行并行化方案的理论研究和优化设计;使用SSAS组件将关系数据仓库数据转换成多维数据存储模式;利用EXCEL的透视表功能实现多维数据OLAP分析结果展示,利用MDX多维查询语言的方式展示多维分析效果;最后,比较K-Means和EM聚类挖掘算法对同一典型用户热计量数据的聚类挖掘结果,对性能更为稳定的EM算法挖掘结果进行采暖异常情况分析,从分类关系图、分类剖面图、分类特征、分类对比四种视图观察数据结果,获得最后的异常情况决策信息。数据仓库并不是新兴技术,在很多企业已经都有着实际中的应用和成功案例,因此将企业中的热计量数据用于搭建数据仓库平台,具有重要的战略价值,企业可以用更加节省人力物力财力、更加科学的方式获取更为有效的节能减排、打击不法盗热等决策信息。另外,截止到目前,将数据仓库和数据挖掘技术应用于集中供热领域的相关研究文献还不是很多,论文的研究对后续研究者也具有借鉴意义。

蒋韶生[4]2005年在《决策支持系统中数据仓库的研究与实现》文中指出数据仓库是近年发展起来的一门数据处理和数据管理技术,它的出现大大促进了决策支持系统理论方法的研究和应用的发展。应用数据仓库技术建立决策支持系统,可以充分利用现有的数据资源,有效提高管理决策水平,基于数据仓库技术的理论方法和应用研究已成为当前决策支持系统的一个研究热点。本文以基于银行业的互联网上的决策支持系统为背景,研究了数据仓库的建模及其在决策支持系统中的应用。 文中首先简述了决策支持系统(DSS)的产生和发展现状以及数据仓库技术的最新进展,分析了在DSS中引入数据仓库技术的原因是出于DSS发展的需要,指出数据仓库的建立并不是要替代数据库,而是要建立一个在全面而完善的信息应用基础之上的,支持高层决策的分析环境。接着阐述了数据仓库技术理论,探讨了决策支持系统中数据仓库层的设计方法和软件开发方法,并提出了一种新的多维数据的建模方法。 本文的重点是数据仓库的设计研究和性能优化。在详细探讨面向主题分析方法的基础上,提出了一种基于隔离带过渡维建模技术与多维星型模式相结合的数据仓库建模方法和实现技术。在实际应用中,详细论述了采用前述的建模方法进行决策支持系统数据仓库层模型的设计,包括数据建模、关系数据库选择及实现。在此基础上对数据仓库管理中的元数据管理、数据抽取与集成及如何提高数据仓库的性能等作了详细阐述。同时探讨了数据仓库系统的数据分析与数据展现,提出了一种在数据仓库中设置动态分区和静态分区的数据分析、展现结构。

唐磊[5]2018年在《基于数据仓库的社保统计分析系统的设计与实现》文中认为近年来,随着社保部门信息化建设的飞速发展,各个业务系统保存了海量的历史数据,由于缺乏先进的统计分析平台,未能对历史数据进行全面深层次的分析与利用,对社会保险金的预测、分析、统计、决策缺乏有效的支持,极大影响了数据统计的准确性和分析决策的效率。在这一背景下,基于数据仓库技术建立社保统计分析系统,对于充分利用业务系统的历史数据,为分析决策提供一个科学、合理、务实的数据支持具有重要的意义和价值。本文在构建社保数据仓库的基础上,通过运用维度建模、数据整合、联机分析处理等技术设计开发实现了基于数据仓库的社保统计分析系统。根据社保的软硬件环境,建立统一的数据仓库体系架构,搭建统一的建设框架和应用模式。依据客户提供业务需求进行统计分析业务主题的划分,从而建立维度模型。利用ETL数据抽取工具从社保的各个业务系统抽取数据,进而整合、加载到数据仓库中。在此基础之上,建立面向分析应用的多维数据库和初级汇总表,最后实现固定报表、灵活报表、图形展现等前端应用功能。通过对基于数据仓库的社保统计分析系统的设计与实现,建立了统一的数据存储平台,解决了“信息孤岛”的问题,有效保证了数据质量,极大提高了数据汇总、计算、查询、分析的性能,为用户提供了直观、丰富的前端展示方式,满足了用户多元化分析和辅助决策的需求,为社保部门数据仓库的建设积累了宝贵的经验。

陈家耀[6]2011年在《面向BI的行业建模方法与技术的研究》文中指出商务智能技术是当前计算机领域的一个重要应用,它是利用数据仓库、数据挖掘技术对客户数据进行系统地储存和管理,并通过各种数据统计分析工具对客户数据进行分析,提供各种分析报告,如客户价值评价、客户满意度评价、服务质量评价、营销效果评价、未来市场需求等,为企业的各种经营活动提供决策信息。建模技术是商务智能的应用过程中的核心应用技术之一,数据仓库、ETL过程、数据分析、数据挖掘等,都是围绕着多维数据模型而展开的,因此,建立多维数据模型成为商务智能的一个重要环节。为了能够使用户更加方便的建立多维数据模型,本文基于MDA的思想,对可视化建模的方法与技术进行研究,并对多维数据模型进行分析,实现了一个面向BI的可视化建模工具。本文针对多维数据模型进行分析与设计,设计了基于XML的结构化描述语言来描述多维数据模型,然后针对所设计的多维数据模型又对模型的存储结构进行分析设计。针对多维数据模型设计了一个完整的图元所应该包含的业务信息、显示属性、事件监听信息、XML模型互转、图元绘制信息、图元关系信息等。并且实现了表示模型、模型和后台数据的相互转换。通过对模型的设计与存储实现可视化建立系统可以识别的多维数据模型,并且可以根据多维数据模型进行后续的数据处理。在本章的最后还对模型可视化技术进行了阐述。本文对可视化建模过程中的交互任务进行设计。首先设计了画布的交互任务,并介绍了画布的交互任务进行分析与设计。然后针对客户端与服务器端之间交互进行设计与分析,介绍了客户端与服务器端之间的事件传输与处理机制。并在最后给出了客户端与服务器端之间的通信框架与具体实现。本文通过对多维数据模型的模型设计、存储管理、模型的交互信息进行了研究,实现了模型的展示于交互,成功实现了多维数据模型的可视化建立。并且在论文的最后,给出一个完整的建模的实例分析,并对模型管理、数据映射管理进行了说明。

陈鹏[7]2011年在《多维数据建模工具的研究与实现》文中提出随着信息技术的发展,企业通过联机事务处理系统(OLTP)积累了大量的历史数据,他们也越来越认识到这些历史数据当中蕴含的信息对决策支持的重要性。传统的实体-关系(E-R)模型,不能准确地表达数据仓库的数据结构和语义,难以有效地支持联机分析处理(OLAP),于是人们考虑建立数据的多维模型,并通过数据仓库系统和OLAP来组织和管理这些数据。在参考已有的一些多维数据建模工具和多维数据模型后,实现了一种综合的多维数据模型建模工具,借助它可以为企业更好地管理历史数据。该工具主要有叁大模块:多维概念模型模块、多维物理模型模块和逆向工程模块,逆向工程包括两部分:OLAP到多维概念模型和关系数据库到多维物理模型。其中多维概念模型吸纳了现有的主流设计,如整个概念模型有维度(包括私有维度、共享维度和坍塌维)、度量和事实等,事实的元组由维度的主键和度量构成。但在此基础上增加了子维度设计。考虑到有些维度的属性会时间变化而变化,可以把这些属性抽取出来形成单独的子维度,这样子维度的变化不会影响父维度的变化,有利于维护模型和控制维度表的过快增长;或者不同的维度之间可能存在相同的维度属性,那么就可以提取出这些共同属性,形成一个单独的子维度,被抽取的维度通过引用的方式吸纳该子维度。前一种情况把维度雪花化,相当于把星型模型转化为雪花模型,而后一种情况提出不同维度的相同属性形成单独的维度,相当于把星型模型转化为星族模型。由多维概念模型转化得到的多维物理模型和实体关系模型差不多,多维物理模型主要包括两种表:维度表和事实表,它们分别由维度和事实转化而来。事实表通过外键的方式与维度表的主键相连接。该工具还能生成SQL脚本,从而把多维物理模型转化为关系表。考虑到XML从视图上就能反映模型的结构,即其优良的可扩展性和通用性,多维物理模型和上段提到的多维概念模型都由XML来导入和导出,得到的XML文件就是整个多维数据模型的元数据。OLAP到多维概念模型的逆向工程中,借助达梦公司OLAP服务器提供的接口,提取到了多维数据模式,将之转化为该建模工具中的多维概念模型,在此基础上修改模型,然后再把完善后的模型输入到OLAP服务器中,这一个循环就实现了OLAP多维数据模式的优化;有时候会发现已有的多维数据模式和要构建的多维概念模型内容差不多,这种情况下也可以借用该逆向工程。同上,在关系数据库到多维物理模型的逆向工程中,借助达梦数据库JDBC接口,抽取达梦数据库中的关系表,把关系表转化为建模工具的多维物理模型,同样实现了对已有实体关系模型的优化。

高晓兵[8]2005年在《基于数据仓库的质量信息系统关键技术研究》文中研究指明随着企业信息化的发展,计算机辅助质量管理信息系统大量应用,此类系统使企业每天都有大量的数据产生,并且积累了大量的历史数据,但实际上这些数据能为决策者提供的支持却非常有限,也难以兼顾决策者的决策需求。如何解决这类问题,是企业信息化发展中必须面对和解决的问题,特别是对于航空企业的信息化具有更为特殊的意义。 本文将决策支持的支撑技术——数据仓库技术引入到质量信息管理中,对海量数据进行处理建模研究,以实现决策支持。本文主要工作是研究和建立了质量信息多维数据仓库模型,并按照企业决策支持的需求,进行了质量信息系统的原型开发。论文阐述了数据仓库的相关概念,重点研究了多维建模技术,从多维模型的理论出发,研究了多维数据建模关键技术和建模方法。在此理论的基础上,分析总结了航空厂质量信息体系并建立了适应航空制造业的质量信息数据仓库模型,并结合数据的载入和反馈过程,逐步检验完善数据仓库的模型,最后基于质量数据仓库实现了原型系统的部分验证开发。

李凌燕[9]2006年在《SEU_OLAP系统以及多维数据可视化的设计与实现》文中认为联机分析处理(OLAP)是伴随着数据仓库出现的一种数据分析处理技术,其特点是使分析人员能够更充分地利用数据仓库中的数据资源,从多种角度、多个层次,快速地构建易为用户理解的并全面反映企业行为特征的数据快照,从而可使用户更加深入地了解企业的发展状况和趋势。迄今为止,已有多家国外厂商推出了比较成熟的OLAP解决方案和产品,但国内企业对OLAP的成功应用还不多。随着计算机应用技术的发展,新的数据形式不断出现,这也对OLAP工具的适应性和效率提出了新的挑战。现有的OLAP工具不能有效地处理数据仓库以外的多种数据源,更不能根据用户需求建立多种数据存储模式。本论文提出的SEU_OLAP系统能够有效地处理多种数据源,如数据仓库、一般的事务处理关系数据库、多维数据库等,并根据用户需求建立多种数据存储模式,对用户屏蔽了数据模式的细节,界面友好,并能将用户查询数据图形显示。主要工作包括以下几个方面:(1)OLAP系统的整体构架,包括OLAP建模工具的介绍和OLAP前端工具的详细设计。(2)通过语义对象对用户屏蔽了数据模式的实现细节,用户只需对自己熟悉的语义对象进行操作,就可获得分析结果。(3)对影响OLAP查询效率的关键技术进行了讨论,提出了一个改进的实视图动态选取算法,该算法从存储空间、查询频率、更新代价叁个方面综合评价每个实视图,有效地保证了OLAP查询的响应时间。(4)利用DirectX技术设计并实现了该系统中多维数据的可视化。

邢攸达[10]2007年在《港口生产数据仓库设计方法研究》文中研究说明决策科学化是企业管理的必然要求,这就意味着管理者要充分利用企业现有的业务数据做出基于事实的决策。港口行业在长期的信息化作业中积累了丰富的数据,如何对港口生产历史数据进行开发和利用是亟待解决的问题。传统的数据库管理系统不能满足港口企业进一步的决策分析需求,数据仓库技术的出现使港口企业原有的生产数据能得到更深一层的应用。港口生产数据仓库的建立,为港口企业搭建了综合的、面向分析的环境,为企业相应部门能够做出更加科学的决策提供了良好的基础。本论文从港口企业面临的决策需求出发,以对港口生产业务的理解和对港口事务数据库中数据的认识为基础,致力于研究港口生产数据仓库设计方法及应用。其中主要研究了港口生产数据仓库的逻辑建模和物理建模,同时利用数据抽取转换加载工具实现了数据的迁移,最后给出了港口生产数据仓库的原型系统,所做的主要研究工作及创新有:首先,研究了港口生产数据仓库的叁层维度建模方法,并对港口货运业务和码头进口流程进行了分析,识别出与港口发生业务关联的实体,确定了港口生产数据仓库的体系结构,界定了系统的边界,确定了主要的主题域及其内容。其次,得到了港口生产数据仓库的总线矩阵,研究设计了港口生产数据仓库的公共维度表,并以港口货运量主题为例详细设计了相应的事实表,得出了货物运输主题的星型逻辑模型。再次,依据逻辑建模的结果,对照港口原数据源,得到了港口生产数据仓库的物理模型。给出了数据的存储策略,存储结构和索引策略,对数据的粒度和分割也作了说明。最后,研究实现了港口生产数据仓库系统,并利用该数据仓库作了数据展示,包括定制需求的设计和数据多维立方体的OLAP分析,对港口数据仓库基础上的数据挖掘作了初步探索。通过上述理论研究和模型设计的结合,得出如下结论:在理论上,数据仓库和OLAP理论可以应用到港口行业,能够辅助企业管理者做出科学决策;通过港口数据仓库的实现和简单应用,证明了港口企业实施数据仓库是可行的,而且确实能得到有价值的信息。本论文无论是对数据仓库的设计和实现方法的理论研究,还是对港口生产数据仓库的实际建设都具有一定的参考价值。

参考文献:

[1]. 多维数据建模工具的设计与实现[D]. 徐义峰. 国防科学技术大学. 2004

[2]. 基于数据仓库的企业运营决策支持系统[D]. 张可新. 吉林大学. 2007

[3]. 基于数据仓库和聚类挖掘的热计量分析[D]. 王媛. 山东大学. 2016

[4]. 决策支持系统中数据仓库的研究与实现[D]. 蒋韶生. 中南大学. 2005

[5]. 基于数据仓库的社保统计分析系统的设计与实现[D]. 唐磊. 电子科技大学. 2018

[6]. 面向BI的行业建模方法与技术的研究[D]. 陈家耀. 山东大学. 2011

[7]. 多维数据建模工具的研究与实现[D]. 陈鹏. 华中科技大学. 2011

[8]. 基于数据仓库的质量信息系统关键技术研究[D]. 高晓兵. 西北工业大学. 2005

[9]. SEU_OLAP系统以及多维数据可视化的设计与实现[D]. 李凌燕. 东南大学. 2006

[10]. 港口生产数据仓库设计方法研究[D]. 邢攸达. 大连理工大学. 2007

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

多维数据建模工具的设计与实现
下载Doc文档

猜你喜欢