(国电南瑞科技股份有限公司江苏省南京市210000)
摘要:随着电量采集系统建设的深入和采集覆盖规模的扩大,作为电网公司电能计量数据支撑平台的作用愈发突出。根据对各网省公司现有采集系统对外数据服务接口进行调研分析,采集系统累计已为交易、发策、信息等专业众多业务应用系统提供业务及数据支撑。为解决接口通信问题,文章研究了全电量采集系统接口技术,实现了对不同系统接口的统一性处理.
关键词:全电量采集系统;接口技术
1现状分析
综合当前各接口应用现状和发展趋势,目前采集系统对外数据服务接口应用主要面临以下问题:
1.1接口众多,难以有效管理
众多接口采用的实现方式不尽相同,缺乏统一管理,缺乏对接口服务效率、质量的跟踪监测。
1.2负载压力大,难以满足时效性要求
众多接口的存在已经对采集系统本身造成很大的负载压力,无法频繁开展大量数据的发布,难以支撑时效性要求高的业务应用需求。
1.3接口灵活性、扩展性不够
各业务系统间数据需求存在交叉,一对一方式的接口应用导致接口开发重复无度,缺乏灵活性和扩展性,给采集系统运维工作带来较大压力。
1.4敏感性数据提供未考虑脱敏
由于采集系统部分数据的敏感性,对外提供未考虑数据脱敏,存在数据安全性隐患。
2建设目标
2.1建设统一接口服务平台
建设采集系统统一接口服务平台,实现采集系统与外部系统数据交互接口统一,数据交互规范管理,数据交互内容和方法灵活配置,数据交互安全可靠,数据交互在线监测。
2.1.1构建多维度信息交互模型
按照数据类型的不同、数据流向的不同、交互方式的不同,分别构建数据交互的模型,在统一接口平台管理下,实现多维度数据交互的灵活性、扩展性。
2.1.2实现信息交互在线监测管理
对所有数据交互接口服务的运行状态、调用情况、交互流量等进行实时监测,并通过可视化功能实现常态化管理。
2.2开展采集数据发布云服务
通过统一接口服务平台,构建采集数据云服务,实现采集数据的统一对外发布,充分发挥公司用户电能基础数据平台的支撑作用。
2.3制定数据发布管理规范
制定采集系统数据发布需求申请、需求审核、服务配置等流程管理规范,供各网省公司参考使用,同时明确敏感性数据提供的脱敏要求,确保数据安全。
3技术方案
3.1技术架构
3.1.1逻辑架构
统一接口服务平台分为数据层、服务层、应用层。
数据层构建接口数据库,从采集系统生产数据库通过ETL工具或其它技术进行数据抽取,提供给静态数据发布服务使用。接口库的数据根据外部系统的需要保留有限的时间,过期数据定期清理。
服务层分为计算集群和服务集群。
服务集群又分为接口服务集群和文件服务集群。接口服务集群以分布式负载均衡的方式负责对外提供统一的接口服务。对于大数据的对外提供,则以文件服务的形式提供下载。
计算集群根据不同的接口应用需求,分为静态数据发布计算集群、实时数据发布计算集群、外部数据获取计算集群、特定交互接口等四类应用,其实现方式分别如下:
(1)静态数据的发布基于面向对象的模型与WebService相结合的技术。外部系统(客户端)将根据数据模型定义的组合对象传递给接口服务,接口服务调用发布计算解析该对象并从接口数据库中提取其所需数据,最终返回数据对象集合。
(2)实时数据的发布采用Webservice+JMS、Socket等技术实现。由采集系统的采集前置机集群在保存生产数据库的同时,同步发送实时数据给统一接口服务平台,平台通过缓存机制对数据进行暂存,并通过客户端向外部系统(服务端)实时推送其订阅的数据。
(3)外部数据的获取需根据外部系统的接口服务要求,开发相应的客户端,通过客户端定期获取数据并写入采集系统生产数据库以供使用。
(4)特定交互接口是指统一接口服务平台开通专有通道集成具有复杂业务的交互接口,如与营销系统的接口、与费控管理系统的接口等。
应用层包括需求管理、配置管理、服务监测等支撑功能。可以作为采集系统的一个功能模块,在现有系统的技术框架上实现。
3.1.2物理架构
图1统一接口服务平台物理架构
统一接口服务平台的物理架构主要由数据库服务器、计算节点服务器、服务节点服务器、文件服务器、防火墙设备以及相关的网络设备组成。
统一接口服务平台在网络上与采集系统主站在同一网段,通过防火墙与外围系统的应用服务器实现数据交互。
3.2接口服务
接口服务是统一接口服务平台与外部系统交互的通道。静态数据的发布、实时数据的推送、外部数据的获取、特定接口的交互都是通过该接口服务集群与外部系统实现数据交互的。
接口服务与外部系统的交互采用WebService技术实现,双方交互采用扩展标记语言XML、JSON等格式。接口服务集群采用负载均衡方式进行部署。
3.3平台管理
3.3.1需求管理
根据采集系统对外数据发布的规范,对外围系统的数据需求申请进行统一管理。具体内容包括:
(1)需求申请。数据需求方填写采集系统统一接口服务平台数据需求申请单,包括数据需求、申请单位、申请系统、申请日期、申请人等。
(2)需求审核。采集系统业务管理部门对需求申请进行审核。
(3)需求执行。采集系统运维管理部门根据业务管理部门的审核结果,对平台执行相关配置。
(4)需求反馈。采集系统运维管理部门在确认平台配置完毕具备数据提供能力后,将接口规范和访问方式告知数据需求方。
3.3.2配置管理
3.3.2.1权限配置
根据外部业务应用系统的数据访问需求,配置访问服务参数,包括访问账号、能访问的数据范围、访问IP、服务调用频次、指标项等,确保服务调用的安全性和效能。
3.3.2.2参数配置
对支撑统一接口服务平台运行的相关参数信息进行维护管理,包括数据库表编码维护、文件生成规则等。
3.3.3服务监测
对统一接口服务平台开展在线监测,监测内容包括接口服务节点、接口计算节点、接口数据库。
接口服务的监测指标包括各节点的运行状态、性能情况、调用情况、调用次数、平均流量、最大流量、调用日志、文件数量等。
接口计算的监测指标包括各节点的运行状态、性能情况、运行日志等。
接口数据库的监测指标包括数据库的运行状态、性能情况、采集数据对象数量及存储量等。
3.4数据脱敏
采集系统具有敏感性特征的数据包括用电用户的档案、终端厂商信息、电表厂商信息等等。此类敏感性数据的对外发布应在可控的范围内开展。
在数据发布需求管理中,增加对数据敏感性的评估。如评估结果为需要对敏感性数据进行脱敏,则参考营销数据统一脱敏规则执行,向该数据需求方提供脱敏后的数据。
为进一步跟踪采集对外发布数据的流向,可以在发布数据中在不影响业务应用的地方随机增加标签戳,通过标签戳可以查询到数据提供的对象。
4管理规范
现有各网省公司采集系统对外数据各接口的管理模式不尽相同,在建设统一接口服务平台的同时,可以同步开展统一接口数据发布管理规范的制定。
管理规范应包括职责分工、数据发布流程及要求、数据发布监控、检查与考核等内容。
通过制定标准管理规范,供各网省公司参考发布,使得采集系统向外发布数据有章程可循,减少数据发布的协调难度,进一步提升采集系统作为公司用户电能数据支撑平台的显著作用。
总结:
采集系统统一接口服务平台是一种高效集约的方式,可以实现采集系统与外部系统数据交互接口统一,数据交互规范管理,数据交互内容和方法灵活配置,数据交互安全可靠,数据交互在线监测。通过统一接口平台可以为后续系统接口接入与开发提供有利的保障手段.
参考文献:
[1]刘阳.基于XML的数据采集标准化接口技术的研究与应用[J].信息系统工程,2012(11):80-81.
[2]邹威林,王凌云,王建民,等.SCADA系统数据采集接口技术研究和应用[J].自动化仪表,2012,33(6):32-35.
[3]卢林,于东,胡毅,等.开放式数控系统网络接口技术研究[J].小型微型计算机系统,2015(3):621-626.