电力通信网大数据应用场景开发及试点应用

电力大数据

POWEＲSYSTEMSANDBIGDATA

大数据专题

BigDataSpecialＲeports

电力通信网大数据应用场景开发及试点应用

111

耿俊成，张小斐，郭志民，吴

23

博，吕顺利

（1.国网河南省电力公司电力科学研究院，河南郑州450052；2.国网河南省电力公司，河南郑州450052；

3.南瑞集团公司（国网电力科学研究院），南京210003）

摘

要：通信网作为电网公司的第二张实体网络，承载着电网运行和经营管理的核心业务，是电网安全、稳定的重要

实时监控、运行管理方面发挥了巨大作用，但随着数据量急剧膨胀，基于传统技术保障。通信管理系统在资源管理、

处理、分析挖掘方面已不能满足实际需求。基于通信管理系统台账数据、告警数架构的通信管理系统在数据存储、

据、传输网性能数据、数据网性能数据、外部电力气象数据，运用大数据存储和计算技术，以及聚类、分类、关联分析实现通信光缆性能监测及预警分析、通信传输网性能监测及预警分析、通信数据网性能监等大数据分析挖掘算法，

测及预警分析、通信设备全寿命周期分析、通信传输网可靠性评价及优化分析、通信重要保障监视等六大场景与功进而提高通信资源故障风险的诊断预警能力，降低通信网业务运营风险，确保电力通信网络可以有效地支撑电能，

力系统安全稳定运行。

关键词：电力通信网；大数据应用；故障定位；风险预警；文章编号：2096－4633（2019）02－0088－05

中图分类号：TN92

文献标志码：B

DOI:10.19317/j.cnki.1008-083x.2019.02.014

电力通信网是承载智能电网信息交互业务的通

承载着电网运行和经营管理的核心业务，是信专网，

是电网安全、稳定、智能电网发展的重要基础设施，

经济运行的重要保障。电力通信网承载的业务与公例如继电保护、稳定控制、配司生产经营密切相关，

用户电量采集等，一旦发生故障将对电网电自动化、

的安全稳定运行造成严重威胁。

现阶段电力通信网监管多采用事后报警的方式

无法有效保证电力通信网络的高效进行网络维护，

制约了电力系统的业务的开展。随着电稳定运行，

资源管理、设备运力通信网信息化程度的不断加深，

实时监控等方面的海量数据已经逐步积累下来，行、

其中蕴藏了巨大的价值亟待挖掘。开发电力通信网将大数据技术应用于电力通信网大数据应用场景，

［1－2］

。精益化管理迫在眉睫

，“海量数据”值的、智能的、具有辅助决策的信息和

“有限知识”之间的矛盾影响了通信信息化建设带来的管理成效。

电力通信网络规模、业务通道迅速发展，数据量

网络结构也变得复杂，导致通信故障埋藏急剧膨胀，

管理与监控较大程度上依赖于监控人员自身较深，

目前网络系统监控较大程度上还停的经验。因此，

而非主动的预警式的留在网络发生问题后的响应，

严重影响了通信业务运行的安全性和稳定性。监控，

当前，对通信网络的优化及光缆与设备故障主要基于电力通信管理系统（TMS）提供的定位，

的相关信息。由于缺乏对资源性能实时数据的采导致设备老化、故障信息难以及时监测；由于集，

导致通信资源缺乏对业务流量数据的实时采集，

的建设与分配难以得到有力的信息支持；由于缺导致光缆在极端天气下乏外部气象数据的支持，

［3－4］

。的故障难以预防

1现状

经过近几年的电力通信信息化建设，积累了大

包括设备的告警、性能和配置数据、量的基础数据，

运行维护数据、设备及光缆缺陷数据、专业管理数据

这些投入了大等。由于缺少强大的数据分析能力，

量的资金和人力获得的数据资产无法真正提供有价

2应用方向分析

开展电力通信网大数据应用，其主要目标在于

降低通信提高通信资源故障风险的诊断预警能力，确保电力通信网络可以有效地支网业务运营风险，

基金项目：国网河南省电力公司科技项目（支撑\"三集五大\"的大数据关键技术研究及示范应用）。

·88·

第2期耿俊成，等：电力通信网大数据应用场景开发及试点应用

撑电力系统的运营。开展电力通信网大数据应用，既要深入挖掘电力通信网系统内部数据，运用大数据处理技术和数据挖掘技术提升对数据资源的利用

水平，

同时也要积极引入外部数据源，进一步拓展数据分析的维度，

全面评价通信资源故障预警能力。开展电力通信网大数据应用，还要基于用户不同层次的需求，

综合利用数据可视化技术，将有价值的信息高效地展示。具体可以从以下六个方面着手：2.1

通信网可靠性分析

通过对影响电力通信网可靠性的因素进行分类

和整理，

并运用特征筛选、数据挖掘等算法，得到影响因素的集合；运用相关性分析算法对该集合进行

一步过滤和整理，

并结合不确定性层次分析法，确定指标权重，

得到最终的可靠性指标评价模型，指导电力通信网可靠性分析评价。2.2

传输网性能监测与预警分析利用资源之间的拓扑关系、业务承载情况，结合

传输网性能监测指标，

通过关联规则、时序分析和离群点检测等技术手段进行大数据分析，

结合通信网可靠性分析评价的结果，

实现对电力通信网资源及承载业务的全方位监控及风险预警［5］

。2.3

光缆覆冰、舞动、雷击故障预警根据降雨持续时间、降雨强度，天气预报的雷

电、

大风、冰雹等恶劣天气信息，结合地理信息和历史故障信息，

运用决策树、支持向量机等分类算法与装袋、

提升等组合算法，进行光缆故障预警［6－9］

。

2.4设备全寿命周期分析

基于通信设备台账、缺陷单、缺陷报告等数据，

运用文本挖掘技术，提取设备缺陷记录关键信息，挖掘设备缺陷与厂商、

投运年限、运行工况以及环境等因素之间的关联关系和发展规律，

对设备总体缺陷率变化趋势进行分析和预测，

并通过厂家设备缺陷率及质量因素分析，

构建厂家产品质量评价模型，为设备运维策略优化、

设备选型/采购、设备退役报废策略制订等工作提供参考依据［10］

。2.5

数据网流量实时监控与分析

通过网管系统采集链路吞吐量、丢包率、时延

等关键性能指标，

实现对数据网重要断面流量动态监测；按链路和出口对流量趋势、

流向、时段进行分析；按业务进行流量流向分析；实时监控特定对象的总体流量、

流量趋势、流量成分等；实现全网通信流量、

流向的可视化，展现当前通信网络的实时运行状态。

［8］

通过网管系统采集路由设备CPU、内存占用率

等关键性能指标，实现对路由设备性能动态监测及劣化分析预警。

从时间序列、流量特征方面实现基于行为分析

的通信网络流量异常检测，

综合多方面要素，提出具有高检测精度和高运行效率的异常流量识别方法，

识别电力通信网中异常操作和网络滥用等，接着进行过滤，

保障通信网络的安全可靠性［11－12］

。

2.6通信网保障场景可视化分析

通过大数据可视化技术，划分通信站点、光缆、

设备保障等级，利用可视化集中展示，实现站点、光缆、

设备、业务运行的场景监视，构建基于GIS的地理图形，

动态地监控重大活动场景。3技术选择及场景分析

根据场景应用需求分析，开展电力通信网大数

据应用场景开发工作，

既需要对大量离线数据进行存储，

也需要对实时数据进行处理和计算，这就需要基于大数据平台进行开发和部署。在汇聚多源异构数据后，

根据不同的业务场景需求，需要综合应用多种数据分析和数据挖掘算法。电力通信网大数据应用场景开发所需的大数据关键技术主要包括以下几方面。3.1

技术架构

电力通信应用场景开发主要基于大数据平台，按照功能组件主要分为数据采集、数据集成和治理、数据存储、数据离线计算、数据实时计算、数据挖掘、

数据可视化等［13］

。

图1技术架构

Fig.1

Technicalarchitecture

·89·

电力大数据第22卷

3.2数据存储技术。

数据存储技术是指采用多种存储方式并存，根据数据类型以及数据处理的要求选择不同的数据存储方式。结构化数据采用传统关系型数据库来存储，

对于半结构化和非结构化数据采用HDFS存储，同时结合Hive和HBase来实现［14］

。

对引入的外部数据源，如传输网性能数据、数据

网流量数据，

由于其年存储量在TB级别，需要通过分布式存储技术完成。

3.3内存计算技术

对于传输网性能监测、数据网流量监测等实

时数据分析场景，

计算量大且实时性要求又相对高的场景，

采用内存计算技术来进行处理，ApacheSpark作为执行引擎。与MapＲeduce框架相比，Spark消除了频繁的I/O磁盘访问。同时，该引擎

采用轻量级的调度框架和多线程计算模型，与MapＲeduce中的进程模型相比，具有极低的调度

和启动开销。

例如，在传输网性能监测或数据网流量实时监

测场景中，

需实时统计分析性能指标与流量指标，在现有的技术框架中，可以利用内存计算技术，对数据进行实时计算［15］

。3.4

分类预测挖掘技术

分类预测挖掘技术就是通过学习得到一个目标函数，

把每个属性集X映射到一个预先定义的类标号Y上。分类挖掘技术主要包括：决策树分类、

最近邻分类、

贝叶斯分类、支持向量机、神经网络等分类技术，以及装袋、提升、随机森林等组合方法。例如，通过提取设备台账信息、故障与告警信息，

结合性能与动环数据，同时将光缆的故障信息与外部气象数据进行关联，

通过对极端天气导致的光缆故障的分析，

实现对光缆气象故障的预测，并通过装袋、提升、随机森林等组合方法，提高预测精度。3.5

关联规则分析技术

关联规则分析技术是形如X→Y的蕴涵表达式，

其中X和Y是不相交的项集，即X∩Y=Φ。关联规则的强度可以用支持度和置信度度量。支持度

确定关联规则可以用于给定数据集的频繁程度，而置信度确定Y在包含X的事物中出现的频繁程度。

应用关联规则分析，一方面可以为资源和设备故障寻找关联因子，例如在需要寻找设备故障、检修频率、承载业务、运行状态、网络结构等多影响因子·90·

之间的关联关系时，可以通过Apriori算法发现频繁

项集、

设置多维关联规则寻找数据规律。另一方面可以通过资源告警在时间上的先后与间隔时长的关系，分析设备间的关联告警现象。3.6

离群点分析技术

离群点（Outlier）是指数据集中可能包含一些数

据对象，

它们与数据的一般行为或模型不一致，这些数据就是离群点。在对传输网设备性能与数据网流量进行监测时需要进行离群点分析。

例如，对于传输网设备的误码率进行分析，可以通过基于密度的聚类，

找出偏离其他正常值的异常数据，

对明显不合理的数据，可以判断为错误数据，在统计计算中需要剔除其影响，对于其中异常但属

于合理范围内的数据，

需要及时进行预警。4电力通信网大数据应用场景示例

基于通信管理系统台账数据、告警数据，通过采集传输网性能数据、

数据网性能数据，借助外部电力气象数据，

运用大数据存储和计算技术，以及大数据分析与挖掘算法，

实现通信光缆性能监测及预警分析、

通信传输网性能监测及预警分析、通信数据网性能监测及预警分析、

通信设备全寿命周期分析、通信传输网可靠性评价及优化分析、

通信重要保障监视等六大场景与功能。具体应用场景建设示例如下。（1）通信光缆性能监测及预警分析。通过光缆

性能数据、

气象数据的采集，实现对光缆衰耗情况的实时监视，

分析光缆衰耗的原因和趋势，为光缆状态检修提供参考；对光缆气象灾害故障进行预警，预防光缆气象灾害导致的故障风险。主要功能包括：光

缆性能动态监测，

光缆性能劣化分析预警及状态检修策略，

光缆覆冰、舞动、雷击、结冰监测预警。图2

通信光缆性能监测及预警分析

Fig.2

Performancemonitoringandearlywarninganalysis

第2期耿俊成，等：电力通信网大数据应用场景开发及试点应用

ofcommunicationopticalcable

（2）通信传输网性能监测及预警分析。通过光

设备性能的采集，

实现对传输网性能变化情况的实时监视，

分析光路与光设备性能数据变化趋势，为光设备故障或告警提供分析参考依据。主要功能包括：传输设备与光路性能动态监测、

传输设备与光路预警分析、

设备运行环境评价。图3

通信传输网性能监测及预警分析

Fig.3

Performancemonitoringandearlywarninganalysisofcommunicationtransmissionnetwork

5结束语

通过电力通信网大数据应用场景的开发，可以

实现对通信资源运行状态、

业务流向、外部环境变化的实时掌握；可以深度挖掘通信管理系统内部数据，

自动分析通信资源运行风险，增强通信资源故障预防的能力，

提高设备故障处理效率；可以更全面地观察业务需求，

有力的支持通信网的升级改造，针对性地指导项目建设、

改造、大修和设备选型的开展，在方式安排、

方案设计上的切入点将更加精准，并大幅度提高通信资源的投资利用率。

随着电力通信大数据应用的开展，将进一步提

高电力通信网可靠性及通信运维管理水平，发挥通信网对智能电网建设的支撑作用，

带来巨大的社会效益与经济效益。

参考文献：

1］赵振东，娄云永，张亚东，等.电力通信网可靠性评价模型的

构建［J］

.中国电力，2010（9）：79－82.ZHAOZhendong，LOUYunyong，ZHANGYadong，etal.Structureofreliabilityevaluationmodelforelectricpowercommunicationnetwork［J］.ElectricPowerTechnology，2010（9）：79－82.2］熊刚，伦杰勇，曹小冬，等.通信网安全风险的判别与大数据

的应用［J］

.自动化与仪器仪表，2016（4）：218－220.XIONGGang，

LUNJieyong，CAOXiaodong，etal.Networksecurityriskcriterionandtheapplicationoflargedata［J］.Automation＆Instrumentation，

2016（4）：218－220.［3］王江亭，靳丹，俞俊，等.基于大数据的电力信息通信预警技

术研究［J］

.电力信息与通信技术，2017（9）：64－69.WANGJiangting，JINDan，YUJun，etal.ＲesearchonearlyWarningtechnologyofthepowerInformationandcommunicationbasedonbigdata［J］.ElectricPowerICT，2017（9）：64－69.［4］林炳花.大数据技术在电力通信网的研究与应用［J］.电力大

数据，

2018，21（5）：31－35.LINBinghua.Applicationanalysisofbigdatatechnologyinpowercommunicationnetwork［J］.PowerSystemsandBigdata，2018，21（5）：31－35.

［5］贺琛，王彦波，王云烨.基于电力通信传输网大数据的温度监

测系统研究［J］

.浙江电力，2016，35（7）：65－68.HEChen，WANGYanbo，WANGYunye，etal.Ｒesearchontemperaturemonitoringsystembasedonbigdataofpowercommunicationtransmissionsystem［J］.ZhejiangElectricPower，2016，35（7）：65－68.

［6］李伟，马佳，王世蓉，等.精细化气象要素下输电线路覆冰预

测预警研究［J］

.电力大数据，2018，21（02）：1－7.LIWei，MAJia，WANGShirong，etal.Ｒesearchonpredictionandwarningofoverheadlineicingunderrefinedmeteorologicalelements［J］.PowerSystemsandBigdata，2018，21（02）：1－7.［7］刘胜波，阳林，郝艳捧，等.中国沿海地区电网覆冰灾害风险

评估［J］

.广东电力，2017，30（12）：1－6．LIUShengbo，

YANGLin，HAOYanpeng，etal.ＲiskassessmentonIcingdisasterstopowergridsincoastalareasofChina［J］.GuangdongElectricPower，2017，30（12）：1－6．

［8］王一各，朱永灿，赵隆.覆冰导线临界融冰电流数值模拟分析

［J］.广东电力，2017，30（5）：96－100.

WANGYige，ZHUYongcan，ZHAOLong.Numericalsimulationanalysisoncriticaldeicingcurrentoficedconductor［J］.GuangdongElectricPower，

2017，30（5）：96－100.［9］李震宇，武国亮，王志利，等.电力微气象风偏灾害监测预警

技术及系统实现［J］.电力系统保护与控制，2017，45（1）：125－131.

LIZhenyu，WUGuoliang，WANGZhili，etal，GONGFangxin.Windageyawdisastermonitoringandearlywarningtechnologybasedonpowermicrometeorologicalandsystemimplementation［J］.PowerSystemProtectionandControl，2017，45（1）：125－131.

［10］张一泓，徐旸，黎翡娟，等.电网企业资产全寿命周期管理模

式综述［J］

.电力信息与通信技术，2016（5）：28－33.ZHANGYihong，XUYang，LIFeijuan，etal.ＲeviewofLCAMmodeinpowergridenterprises［J］.ElectricPowerIct，2016（5）：28－33.

［11］应斐昊，邢宁哲，纪雨彤，等.基于KTLAD的电力数据网业

务流量异常检测［J］.北京邮电大学学报，2017，40（S1）：108－111.

YINGFeihao，XINGNingzhe，JIYutong，etal.KTLADbasedtraffic

·91·

［［电力大数据

anomalydetectionalgorithmofelectricpowerdatanetwork［J］.JournalofBeijingUniversityofPostsandTelecommunications，2017，40（S1）：108－111.

［12］郭思嘉，赵振东，张倩宜.基于Weibull函数分布的电力通信

2017，45网光缆失效率模型［J］.电力系统保护与控制，（17）：92－99.

GUOSijia，ZHAOZhendong，ZHANGQianyi.FailureratemodelforopticalfibercableinelectricpowercommunicationnetworkbasedonWeibulldistributionfunction，2017，45（17）：92－99.

［13］程学旗，靳小龙，王元卓，等.大数据系统和分析技术综述

［J］.软件学报，2014（9）：1889－1908.

JINXiaolong，WANGYuanZhuo，etal.SurveyonCHENGXueqi，

bigdatasystemandanalytictechnology［J］.JournalofSoftware，2014（9）：1889－1908.

［14］衡星辰，周力.分布式技术在电力大数据高性能处理中的应

.电力信息与通信技术，2013，11（9）：40－43.用［J］HENG

Xingchen，ZHOU

Li.Application

of

distributed

收稿日期：2018－10－15作者简介：

第22卷

technologiesinthepowerbigdatahigh-performanceprocessing［J］.ElectricPowerInformationandCommunicationTechnology，2013，11（9）：40－43.

［15］陈星莺，张晓花，瞿峰，等.数据挖掘在电力系统中的应用综

.电力科学与技术学报，2007，22（3）：51－56.述［J］

ZHANGXiaohua，QUFeng，etal.SurveyonCHENXingying，

applicationsofdatamininginpowersystem［J］．JournalofElectricPowerScienceandTechnology，2007，22（3）：51－56.

耿俊成（1985），男，硕士研究生，高级工程师，从事配用电大数据技术研究。

（本文责任编辑：龙海丽）

Developmentandapplicationofbigdataapplicationscenario

intheelectricpowercommunicationnetwork

GENGJuncheng1，ZHANGXiaofei1，GUOZhimin1，WUBo2，LVShunli3（1.SGHAEPCElectricPowerＲesearchInstitute，Zhengzhou450002Henan，China

Zhengzhou450002Henan，China2.ElectricPowerofHeNan，

Nanjing210003）3.NAＲIGroupCorporationStateGridElectricPowerＲesearchInstitute，

Abstract：AsthesecondentitynetworkinStateGrid，CommunicationNetworkisanimportantguarantee，whichcarriespowergridTMSsystem，whichplayagreatroleinresourceoperationandmanagement.Asacorecommunicationsprofessionalmanagementsystem，

management，real-timemonitoring，operationmanagement，accumulatedtoomuchdatatoexcavateitsvalue.Withdatavolumeswelling，it＇smoredifficultforTMStoresponserequiredindatastorage，processing，analysis，miningcannotmeettheactualneeds，whichstillbasedonthetraditionaltechnologyarchitecture.Basedontheequipmentattributedata，alarmdata，transmissionnetworkperformancedatanetworkperformancedataofTMS，andexternalmeteorologicaldata，thelargedatastorageandcomputingtechnology，data，

clustering，classification，associationanalysisandotherdataanalysisandminingalgorithmsareusedtorealizetheperformancemonitoring，earlywarninganalysisofcommunicationopticalcable，networkperformancemonitoringandearlywarninganalysis，communicationdatanetworkperformancemonitoringandearlywarninganalysis，communicationequipmentlifecycleanalysis，communicationtransmissionnetworkreliabilityevaluationandoptimizationanalysis，communicationimportantsupportmonitoring.Itreducingcommunicationnetworktherebyimprovesthecommunicationresourcesfaultriskdiagnosisandearlywarningcapabilities，

traffictoensurethatthepowercommunicationnetworkcaneffectivelysupportthesafeandstableoperationofthepowersystem.Keywords：powercommunication；bigdataapplications；faultlocation；riskwarning

·92·