0 引言

電力信息通信網(wǎng)作為電力系統(tǒng)的專用網(wǎng)絡(luò),作為支撐電力系統(tǒng)的“三大支柱”之一,保障著電力系統(tǒng)生產(chǎn)的安全、穩(wěn)定運(yùn)行^[1]。在電力信息通信行業(yè)中,故障風(fēng)險(xiǎn)發(fā)生具有強(qiáng)耦合性,當(dāng)某個(gè)信息設(shè)備或者系統(tǒng)受到的故障破壞、惡意攻擊時(shí),會(huì)使得大量終端設(shè)備的采集功能、監(jiān)測(cè)能力受到影響,進(jìn)而造成電力系統(tǒng)物理空間設(shè)備無(wú)法正常運(yùn)行^[2]。

雖然目前電力信息通信技術(shù)發(fā)展迅速,近年來建設(shè)了多個(gè)電力信息運(yùn)維監(jiān)測(cè)和管理系統(tǒng),為電力系統(tǒng)運(yùn)維工作提供了強(qiáng)大的支撐,但電力信息通信網(wǎng)絡(luò)中的運(yùn)行數(shù)據(jù)采集缺乏統(tǒng)一有效的手段,數(shù)據(jù)全面性、準(zhǔn)確性以及效率都有很多不足,并且各種監(jiān)控告警信息非常分散,導(dǎo)致信息通信運(yùn)行中發(fā)生的問題往往只能被動(dòng)響應(yīng),無(wú)法通過基于業(yè)務(wù)系統(tǒng)基礎(chǔ)架構(gòu)、信息系統(tǒng)實(shí)時(shí)運(yùn)行狀況和歷史運(yùn)行狀況的信息系統(tǒng)風(fēng)險(xiǎn)預(yù)警模型進(jìn)行運(yùn)行故障的全面監(jiān)測(cè)與趨勢(shì)預(yù)測(cè),嚴(yán)重影響了業(yè)務(wù)的正常開展。

在大數(shù)據(jù)時(shí)代,隨著電網(wǎng)信息系統(tǒng)架構(gòu)的不斷擴(kuò)展,IT設(shè)備的數(shù)量越來越多,網(wǎng)絡(luò)也變得更加復(fù)雜,信息通信系統(tǒng)中的狀態(tài)數(shù)據(jù)、運(yùn)行數(shù)據(jù)以及故障數(shù)據(jù)等體量越來越大,且具有典型的大數(shù)據(jù)特征^[3],如果數(shù)據(jù)未經(jīng)過處理,則對(duì)運(yùn)維沒有任何意義和價(jià)值。綜合運(yùn)用大數(shù)據(jù)采集技術(shù)、實(shí)時(shí)數(shù)據(jù)流處理技術(shù)、關(guān)聯(lián)分析挖掘技術(shù)、狀態(tài)評(píng)估技術(shù)、趨勢(shì)預(yù)測(cè)及風(fēng)險(xiǎn)評(píng)估技術(shù),建立科學(xué)的分析模型,實(shí)現(xiàn)信息通信風(fēng)險(xiǎn)態(tài)勢(shì)全面感知、運(yùn)維數(shù)據(jù)全面分析、運(yùn)維風(fēng)險(xiǎn)實(shí)時(shí)預(yù)警,達(dá)到在故障發(fā)生前解決問題的主動(dòng)運(yùn)維效果,有助于提升信息通信故障監(jiān)測(cè)和風(fēng)險(xiǎn)預(yù)警能力,對(duì)提高信息通信系統(tǒng)的安全性、穩(wěn)定性及其服務(wù)能力具有重要的理論價(jià)值和實(shí)際意義。

 1 國(guó)內(nèi)外研究現(xiàn)狀

1.1 國(guó)內(nèi)外大數(shù)據(jù)技術(shù)研究現(xiàn)狀

在學(xué)術(shù)界,《Nature》早在2008年就推出了“big data”專刊,從互聯(lián)網(wǎng)技術(shù)、超級(jí)計(jì)算、生物醫(yī)學(xué)等方面來專門探討對(duì)大數(shù)據(jù)的研究^[4];2011年5月,全球知名咨詢公司麥肯錫發(fā)布了“Big data: The next frontier for innovation,competition and productivity”的報(bào)告^[5],首次提出“大數(shù)據(jù)”的概念;世界經(jīng)濟(jì)論壇（World Economic Forum）2012年發(fā)布并指出了大數(shù)據(jù)的發(fā)展為世界帶來的新機(jī)遇^[6];美國(guó)政府在2012年3月29日發(fā)布了“大數(shù)據(jù)研究發(fā)展倡議”,正式啟動(dòng)“大數(shù)據(jù)發(fā)展計(jì)劃”^[7];2012年
7月,日本推出“新ICT戰(zhàn)略研究計(jì)劃”,其中重點(diǎn)關(guān)注大數(shù)據(jù)應(yīng)用,將大數(shù)據(jù)定位為戰(zhàn)略領(lǐng)域之一^[8]。

在應(yīng)用界,谷歌公司在2009年通過對(duì)人們?cè)诰W(wǎng)上檢索的詞條與疾病中心的數(shù)據(jù)進(jìn)行分析處理,及時(shí)地判斷出流感的傳播來源,為公共衛(wèi)生機(jī)構(gòu)提供了有價(jià)值的信息;美國(guó)最大的西奈山醫(yī)療中心使用來自大數(shù)據(jù)創(chuàng)業(yè)公司Ayasdi的技術(shù)分析大腸桿菌的全部基因序列,包括超過100萬(wàn)個(gè)DNA變體,來了解為什么菌株會(huì)對(duì)抗生素產(chǎn)生抗藥性;美國(guó)俄亥俄州運(yùn)輸部（ODOT）利用INRIX的云計(jì)算分析處理大數(shù)據(jù)來了解和處理惡劣天氣的道路狀況,減少了冬季連環(huán)撞車發(fā)生的概率,方便了人們的出行。

大數(shù)據(jù)技術(shù)描述了一種新一代的技術(shù)和構(gòu)架,用于以很經(jīng)濟(jì)的方式,以高速的捕獲、發(fā)現(xiàn)和分析技術(shù),從各種超大規(guī)模的數(shù)據(jù)中提取價(jià)值。國(guó)外的大數(shù)據(jù)研究工作主要集中在如何進(jìn)行大數(shù)據(jù)存儲(chǔ)、處理、分析、管理的技術(shù)及軟件應(yīng)用上。經(jīng)過多年的研究和發(fā)展,已有很多優(yōu)秀的挖掘方法,其中常見有路徑分析、關(guān)聯(lián)分析、序列模式、分類分析、聚類分析以及統(tǒng)計(jì)分析等^[9]。目前的大數(shù)據(jù)平臺(tái)以Hadoop為主,其可以有效解決傳統(tǒng)日志系統(tǒng)無(wú)法處理海量日志數(shù)據(jù)的問題,但Hadoop并不擅長(zhǎng)處理實(shí)時(shí)應(yīng)用,主要采用離線處理方式^[10]。基于Hadoop的實(shí)時(shí)處理應(yīng)用目前還比較少,采用流處理數(shù)據(jù)對(duì)日志數(shù)據(jù)進(jìn)行處理是未來的發(fā)展趨勢(shì)^[11]。

1.2 國(guó)內(nèi)外信息通信數(shù)據(jù)智能分析技術(shù)研究現(xiàn)狀

在學(xué)術(shù)界,近年來信息通信數(shù)據(jù)智能分析方面已有很多相關(guān)研究成果：文獻(xiàn)[12]從在控制與監(jiān)控方面入手建立了功能失效模型,提高了電力通信網(wǎng)絡(luò)的可靠性;文獻(xiàn)[13]、文獻(xiàn)[14]分別從業(yè)務(wù)和通道段業(yè)務(wù)的風(fēng)險(xiǎn)度角度出發(fā),構(gòu)建了基于電力通信網(wǎng)業(yè)務(wù)風(fēng)險(xiǎn)均衡度的評(píng)估模型和相應(yīng)的評(píng)估指標(biāo),以提高業(yè)務(wù)系統(tǒng)的可靠性。上述文獻(xiàn)對(duì)傳統(tǒng)網(wǎng)絡(luò)或電力信息通信網(wǎng)絡(luò)的風(fēng)險(xiǎn)評(píng)估、可靠性進(jìn)行了研究,但均未從大數(shù)據(jù)的角度對(duì)信息通信網(wǎng)絡(luò)風(fēng)險(xiǎn)、預(yù)警技術(shù)進(jìn)行研究,該方面的研究在國(guó)內(nèi)外均處于起步階段。本文主要對(duì)電力信息通信網(wǎng)絡(luò)風(fēng)險(xiǎn)、預(yù)警技術(shù)進(jìn)行研究,結(jié)合先進(jìn)的大數(shù)據(jù)相關(guān)技術(shù),設(shè)計(jì)了一套大數(shù)據(jù)信息通信預(yù)警平臺(tái)、風(fēng)險(xiǎn)預(yù)警和數(shù)據(jù)處理架構(gòu),并利用電力行業(yè)各單位之間的通信流量數(shù)據(jù)進(jìn)行危險(xiǎn)預(yù)警架構(gòu)合理性及算法有效性驗(yàn)證。

在應(yīng)用界,國(guó)外對(duì)信息通信數(shù)據(jù)智能分析的研究起步較早,包括很多行業(yè)規(guī)范和技術(shù)都是起源于各廠商。國(guó)內(nèi)雖然對(duì)信息通信技術(shù)的研究起步較晚,但是由于國(guó)內(nèi)軟件技術(shù)水平的飛速發(fā)展和技術(shù)資源的開放性越來越高,為國(guó)內(nèi)的信息通信數(shù)據(jù)管理技術(shù)發(fā)展帶來了生機(jī)和活力。基于現(xiàn)代大數(shù)據(jù)分析技術(shù)、自動(dòng)測(cè)量技術(shù)、自動(dòng)控制技術(shù)、計(jì)算機(jī)應(yīng)用技術(shù)及相關(guān)的專用分析軟件形成的信息管理技術(shù)已經(jīng)廣泛應(yīng)用于各行各業(yè)。目前國(guó)內(nèi)比較成熟的產(chǎn)品包括北塔、東華、神州泰岳、摩卡、泰豪等公司的IT運(yùn)維監(jiān)控管理系統(tǒng),其對(duì)數(shù)據(jù)中心涉及的應(yīng)用服務(wù)器等設(shè)備進(jìn)行數(shù)據(jù)采集和監(jiān)控,結(jié)合一些安全閾值實(shí)現(xiàn)故障的告警。不足之處是均為被動(dòng)的告警運(yùn)維,缺乏主動(dòng)預(yù)警效果,不滿足智能電網(wǎng)的發(fā)展需求。

 2 基于大數(shù)據(jù)的電力信息通信風(fēng)險(xiǎn)預(yù)警架構(gòu)研究

2.1 基于大數(shù)據(jù)電力信息通信風(fēng)險(xiǎn)分析及預(yù)警架構(gòu)

Hadoop和Spark作為開源的大數(shù)據(jù)處理平臺(tái),近年來得到了快速發(fā)展,出現(xiàn)了許多相關(guān)應(yīng)用與解決方案。Hadoop支持大規(guī)模集群操作,在集群上可以方便地增加多至上千個(gè)節(jié)點(diǎn)進(jìn)行并行計(jì)算,其計(jì)算速度會(huì)隨著集群數(shù)量相應(yīng)增加,可解決傳統(tǒng)日志分析系統(tǒng)無(wú)法處理海量日志數(shù)據(jù)的問題^[15],但Hadoop并不擅長(zhǎng)處理實(shí)時(shí)應(yīng)用。Spark是一種與Hadoop相似的通用并行計(jì)算框架,是對(duì)Hadoop的補(bǔ)充,它采用內(nèi)存并行計(jì)算技術(shù)與流式處理技術(shù),在實(shí)時(shí)處理方面表現(xiàn)得更加優(yōu)越^[16]。本文針對(duì)電力通信特點(diǎn)所設(shè)計(jì)的大數(shù)據(jù)分析平臺(tái)架構(gòu)采用了Spark的并行計(jì)算及流處理技術(shù)。電力通信大數(shù)據(jù)分析平臺(tái)架構(gòu)如圖1所示。

圖1 電力通信大數(shù)據(jù)分析平臺(tái)架構(gòu)Fig.1 Analysis platform architecture of power communication big data

2.2 基于大數(shù)據(jù)的電力信息通信數(shù)據(jù)處理

電力信息通信大數(shù)據(jù)處理架構(gòu)如圖2所示。在數(shù)據(jù)處理框架中完成對(duì)各類日志的匯聚、處理和集中管理,其中日志收集模塊采集各自不同系統(tǒng)的日志、網(wǎng)絡(luò)日志、防火墻日志等,采用Hive建立業(yè)務(wù)分析模型,實(shí)現(xiàn)日志的智能多維度查詢,完成對(duì)數(shù)據(jù)的初步清洗。在數(shù)據(jù)存儲(chǔ)層完成對(duì)數(shù)據(jù)的進(jìn)一步清洗和轉(zhuǎn)換,將數(shù)據(jù)分類存儲(chǔ)于HDFS中,利用Sqoop工具將數(shù)據(jù)從HDFS中導(dǎo)出到Oracle中。最后按照業(yè)務(wù)分類對(duì)日志的關(guān)鍵字進(jìn)行統(tǒng)一分析,利用大數(shù)據(jù)技術(shù)完成相關(guān)數(shù)據(jù)的關(guān)聯(lián)分析和模式挖掘,采用數(shù)據(jù)清洗和壓縮歸并等手段對(duì)系統(tǒng)指標(biāo)、安全狀況以及運(yùn)行狀態(tài)的實(shí)時(shí)動(dòng)態(tài)預(yù)警信息進(jìn)行判定,最終在對(duì)預(yù)警信息進(jìn)行深入分析的基礎(chǔ)上實(shí)現(xiàn)電網(wǎng)信息通信系統(tǒng)的主動(dòng)預(yù)警。

圖2 電力信息通信大數(shù)據(jù)處理架構(gòu)Fig.2 Big data processing architecture for power information and communication

基于大數(shù)據(jù)的信息通信風(fēng)險(xiǎn)預(yù)警架構(gòu)如圖3所示。為了實(shí)現(xiàn)對(duì)客服工單數(shù)據(jù)的統(tǒng)計(jì)分析、文本挖掘、聚類分析,進(jìn)一步輔助用戶決策,采用了大數(shù)據(jù)可視化工具Tableau進(jìn)行數(shù)據(jù)分析,并對(duì)信息通信系統(tǒng)設(shè)計(jì)相應(yīng)的數(shù)據(jù)分析頁(yè)面,實(shí)現(xiàn)數(shù)據(jù)分析結(jié)果的可視化展示,對(duì)項(xiàng)目數(shù)據(jù)進(jìn)行全方位的科學(xué)分析來評(píng)估信息通信運(yùn)維效果,為領(lǐng)導(dǎo)決策提供科學(xué)、嚴(yán)謹(jǐn)?shù)囊罁?jù),降低決策失敗的風(fēng)險(xiǎn)。

圖3 基于大數(shù)據(jù)的信息通信風(fēng)險(xiǎn)預(yù)警架構(gòu)Fig.3 Information communication risk early warning framework based on big data

2.3 基于大數(shù)據(jù)的電力信息通信趨勢(shì)預(yù)測(cè)

趨勢(shì)預(yù)測(cè)可利用數(shù)據(jù)本身的變化情況以及外部需求因素的影響規(guī)律進(jìn)行分析和研究,在對(duì)故障的產(chǎn)生原因與傳播不建立復(fù)雜模型的情況下,實(shí)現(xiàn)對(duì)信息通信需求的估計(jì)和預(yù)測(cè)。由于信息通信網(wǎng)絡(luò)容量具有不確定性的特點(diǎn),預(yù)測(cè)工作一般必須在一定的條件下才可進(jìn)行。

本文考慮了兩種時(shí)間序列預(yù)測(cè)模型：ARIMA模型和Holt-Winters模型。其中ARIMA (p,q)模型包括一個(gè)自回歸模型AR(p)和一個(gè)移動(dòng)平均模型MA(q),ARIMA模型的建模方程為：

由公式(2)—公式(4)可得預(yù)測(cè)公式如下：

由公式(6)—公式(8)可得預(yù)測(cè)公式如下：

圖4 某年7月8日-9月5日期間的總流量曲線Fig.4 Total flow curveduring from July 8th to September 5th

將原始數(shù)據(jù)中工作日的流量數(shù)據(jù)提出單獨(dú)分析并做預(yù)測(cè)。工作日的流量數(shù)據(jù)曲線如圖5所示,可以看出第40天到第50天之間某天（實(shí)際為9月8日）的數(shù)據(jù)與其他工作日的數(shù)據(jù)有明顯的不同,初步判斷為異常。

圖5 工作日的流量數(shù)據(jù)曲線Fig.5 Working day traffic data curve

上述模型編程使用R語(yǔ)言完成