（山东英才学院）
摘要：随着大数据技术的不断发展，将大数据系统构建为高效一体化平台，并以此将其实际的应用难度得到最大程度上的降低已经成为当前的发展重点。为此本文将对其研究方向及领域需求的自动选型部署进行概述，发掘其中具体优化方式，对特定领域应用进行说明。
关键词：领域大数据；应用开发；运行平台；技术研究
1、研究方向
1.1大数据生命周期方向
在大数据生命周期研究方向上，其具体的研究内容可以被概括为数据的采集、分类、定期清理及存储等方面。同时从用户的角度出发进行考虑，其具体的研究方向则可以被概括为描述框架及可编程空间的研究，具体内容应当包含西永的设计、脚本的自动生成等方面。其开发环境方面要有相关的服务支持，具体到大数据生命周期的研究方向上主要体现在操作序列的优化上，上述方向时大数据生命周期得到核心研究方向[1]。
1.2软件生命周期方向
除上文提到的大数据生命周期方向外，软件生命周期方向同样时本文的研究反向。能够对软件的生命周期产生影响的有软件的算法、方案的设计及系统运行方面的优化情况。其中主要的内容有大数据结构的自动选型、容量规划、参数优化及资源库的动态更新等，在自动选型方面需要根据用户的自身需求取寻找最为适合的系统构件，在容量规划方面的需求是对大数据系统的硬件容量进行最为完整的规划，而在数据库及参数优化方面，都是需要进行实时的更新，对大数据软件系统进行不断的调试并以此不断对资源库进行规划，帮助系统学习客户得到反馈信息[2]。
2、领域驱动自动选型和部署
2.1参数优化
大数据平台资源模块中，使用参数优化能够对达成系统优化地目的。参数中不仅包含硬件及操作系统地参数，还有大数据构件地参数。通过采取网格搜索法，来实现软件参数配置地自动调整，支持用户反馈地实时更新。
2.2硬件扩充规划
应用系统能否得到完全的发挥，根本上而言是由其硬件配置所决定。硬件规划的目标中，不同的负载量需要相应的系统完成，同样也需要对应的硬件。为此可以用过其模型的判断来进行总结，其具体模型为：
该模型为性能模型，通过这样的模型可求出最佳性能参数，当出现不同结果时可以通过计算得出全部数值以找出最小成本额。
2.3参数配置调整
参数配置的调整可以概括为队列的调整及缓存大小的调整，其调整主要由以下几个规律，首先在规则优先级方面，当对于相同参数的调整中设计到多条规则时，要去优先级最高的单位完成调整，在输入参数时，要以需求指标为根本对参数进行输入且每次输入由有统一条件，其条件既能作为参数的表达式又能作为逻辑式出现。最后，相同的规则中需要一个复制表达式，复制表达式并不要求为具体数值，可以以数学表达式的方式存在。
3、系统性能优化方法
对大数据系统进行系统优化时，可以由三个方面入手，首先在数据收集方面可以有用户自定义查询语句，达成查询特定时间段、关键词、大数据构件、特定节点的对应日志。在相似度相关的参数优化工具中，则多以运行数据的学习为主，对系统进行检测发现，任务执行时产生的相关数据能在很大程度上对任务特性进行体现，在计算机框架spark运行时，产生的数据被存储到历史数据库当中，利用无环图相似度的方式能够完成对特定任务的优化。最后在相似度的定义方面，可以将相似度概念理解为无环图的相似度，而不同的任务其相似度自然也存在一定的不同，这样的方式对于是否对计算机框架spark熟知的用户都能简单的使用，同时也发挥其自动适应性的特点，真正地系统优化。
4、特定领域应用说明
4.1物联网应用说明
在物联网领域的实际应用中，我们以实例的方式进行诠释。当前有一企业A在经营的过程中加入信息化元素，通过这样的方式收获了大量的数据。收集到的数据会通过移动网络的形式中转并储存到企业A的服务平台当中，随着企业的经营发展，每日产生的数据量在不断增加，当数据总量到达百亿级别时，数据的查询出现明显缓慢的趋势，影响日常的生产经营活动。为了对这种情况进行解决，共设立五项解决办法分别为采取大表查询法，对数据的写入进行实时的检测及对历史工况进行纠错，同时由于企业A为物联网企业，涉及到大量的搬运设备，设备的老化会对其性能产生影响，因此需要对设备进行及时的保养。最后在故障的预警方面采取每间隔以断时间发送一次故障工况的方式，以此完成故障预警[3]。
4.2天气预报应用说明
在天气预报的应用中，大数据平台可以作为基础平台进行使用。在天气预报中应用大数据平台主要起到的作用包含解决过去信息处理量巨大所产生的的延迟问题。通过大数据平台，对气象信息数据的处理能够达成优化，以这样的方式提高数据的检索效率，并以此就昂过去的储存系统完成兼容，以此有效的提升数据的利用效率。气象数据有着很强的实时性，这造成了其与其他数据类型之间的不同。当前数据的利用方式多为实时访问模式，所使用的模型多为自由表模型，使用大数据的方式能够将其响应时间降低至毫秒级别，帮助天气的监控变得更加高效、稳定。通过这样的方式，当前大数据平台在天气预报方面的最大数据峰值可达到每日16TB的容量[4]。
5、结语：
通过本文的论述，对领域大数据及其平台技术的开发应用进行了相关的研究，发现其主要问题聚焦于处理需求方面，另一方面则体现在数据特征中。为此本文对其驱动的自动选型及部署进行了相关研究，同时找出系统性能优化方法并结合特定领域进行说明，希望通过这样的方式对领域大数据的应用进行优化，同时对其平台运行技术进行研究。
参考文献
[1]李绍杨.领域大数据应用开发与运行平台技术研究[J].信息记录材料,2018,19(01):46-47.
[2]王建民.领域大数据应用开发与运行平台技术研究[J].软件学报,2017,28(06):1516-1528.
[3]朱朝阳,王继业,邓春宇.电力大数据平台研究与设计[J].电力信息与通信技术,2015,13(06):1-7.
[4]王者龙.基于大数据计量资产全寿命周期管理研究[D].山东大学,2016.