0 引言

電力信息通信網(wǎng)作為電力系統(tǒng)的專用網(wǎng)絡(luò),作為支撐電力系統(tǒng)的“三大支柱”之一,保障著電力系統(tǒng)生產(chǎn)的安全、穩(wěn)定運行^[1]。在電力信息通信行業(yè)中,故障風(fēng)險發(fā)生具有強耦合性,當(dāng)某個信息設(shè)備或者系統(tǒng)受到的故障破壞、惡意攻擊時,會使得大量終端設(shè)備的采集功能、監(jiān)測能力受到影響,進而造成電力系統(tǒng)物理空間設(shè)備無法正常運行^[2]。

雖然目前電力信息通信技術(shù)發(fā)展迅速,近年來建設(shè)了多個電力信息運維監(jiān)測和管理系統(tǒng),為電力系統(tǒng)運維工作提供了強大的支撐,但電力信息通信網(wǎng)絡(luò)中的運行數(shù)據(jù)采集缺乏統(tǒng)一有效的手段,數(shù)據(jù)全面性、準確性以及效率都有很多不足,并且各種監(jiān)控告警信息非常分散,導(dǎo)致信息通信運行中發(fā)生的問題往往只能被動響應(yīng),無法通過基于業(yè)務(wù)系統(tǒng)基礎(chǔ)架構(gòu)、信息系統(tǒng)實時運行狀況和歷史運行狀況的信息系統(tǒng)風(fēng)險預(yù)警模型進行運行故障的全面監(jiān)測與趨勢預(yù)測,嚴重影響了業(yè)務(wù)的正常開展。

在大數(shù)據(jù)時代,隨著電網(wǎng)信息系統(tǒng)架構(gòu)的不斷擴展,IT設(shè)備的數(shù)量越來越多,網(wǎng)絡(luò)也變得更加復(fù)雜,信息通信系統(tǒng)中的狀態(tài)數(shù)據(jù)、運行數(shù)據(jù)以及故障數(shù)據(jù)等體量越來越大,且具有典型的大數(shù)據(jù)特征^[3],如果數(shù)據(jù)未經(jīng)過處理,則對運維沒有任何意義和價值。綜合運用大數(shù)據(jù)采集技術(shù)、實時數(shù)據(jù)流處理技術(shù)、關(guān)聯(lián)分析挖掘技術(shù)、狀態(tài)評估技術(shù)、趨勢預(yù)測及風(fēng)險評估技術(shù),建立科學(xué)的分析模型,實現(xiàn)信息通信風(fēng)險態(tài)勢全面感知、運維數(shù)據(jù)全面分析、運維風(fēng)險實時預(yù)警,達到在故障發(fā)生前解決問題的主動運維效果,有助于提升信息通信故障監(jiān)測和風(fēng)險預(yù)警能力,對提高信息通信系統(tǒng)的安全性、穩(wěn)定性及其服務(wù)能力具有重要的理論價值和實際意義。

 1 國內(nèi)外研究現(xiàn)狀

1.1 國內(nèi)外大數(shù)據(jù)技術(shù)研究現(xiàn)狀

在學(xué)術(shù)界,《Nature》早在2008年就推出了“big data”?？?從互聯(lián)網(wǎng)技術(shù)、超級計算、生物醫(yī)學(xué)等方面來專門探討對大數(shù)據(jù)的研究^[4];2011年5月,全球知名咨詢公司麥肯錫發(fā)布了“Big data: The next frontier for innovation,competition and productivity”的報告^[5],首次提出“大數(shù)據(jù)”的概念;世界經(jīng)濟論壇（World Economic Forum）2012年發(fā)布并指出了大數(shù)據(jù)的發(fā)展為世界帶來的新機遇^[6];美國政府在2012年3月29日發(fā)布了“大數(shù)據(jù)研究發(fā)展倡議”,正式啟動“大數(shù)據(jù)發(fā)展計劃”^[7];2012年
7月,日本推出“新ICT戰(zhàn)略研究計劃”,其中重點關(guān)注大數(shù)據(jù)應(yīng)用,將大數(shù)據(jù)定位為戰(zhàn)略領(lǐng)域之一^[8]。

在應(yīng)用界,谷歌公司在2009年通過對人們在網(wǎng)上檢索的詞條與疾病中心的數(shù)據(jù)進行分析處理,及時地判斷出流感的傳播來源,為公共衛(wèi)生機構(gòu)提供了有價值的信息;美國最大的西奈山醫(yī)療中心使用來自大數(shù)據(jù)創(chuàng)業(yè)公司Ayasdi的技術(shù)分析大腸桿菌的全部基因序列,包括超過100萬個DNA變體,來了解為什么菌株會對抗生素產(chǎn)生抗藥性;美國俄亥俄州運輸部（ODOT）利用INRIX的云計算分析處理大數(shù)據(jù)來了解和處理惡劣天氣的道路狀況,減少了冬季連環(huán)撞車發(fā)生的概率,方便了人們的出行。

大數(shù)據(jù)技術(shù)描述了一種新一代的技術(shù)和構(gòu)架,用于以很經(jīng)濟的方式,以高速的捕獲、發(fā)現(xiàn)和分析技術(shù),從各種超大規(guī)模的數(shù)據(jù)中提取價值。國外的大數(shù)據(jù)研究工作主要集中在如何進行大數(shù)據(jù)存儲、處理、分析、管理的技術(shù)及軟件應(yīng)用上。經(jīng)過多年的研究和發(fā)展,已有很多優(yōu)秀的挖掘方法,其中常見有路徑分析、關(guān)聯(lián)分析、序列模式、分類分析、聚類分析以及統(tǒng)計分析等^[9]。目前的大數(shù)據(jù)平臺以Hadoop為主,其可以有效解決傳統(tǒng)日志系統(tǒng)無法處理海量日志數(shù)據(jù)的問題,但Hadoop并不擅長處理實時應(yīng)用,主要采用離線處理方式^[10]。基于Hadoop的實時處理應(yīng)用目前還比較少,采用流處理數(shù)據(jù)對日志數(shù)據(jù)進行處理是未來的發(fā)展趨勢^[11]。

1.2 國內(nèi)外信息通信數(shù)據(jù)智能分析技術(shù)研究現(xiàn)狀

在學(xué)術(shù)界,近年來信息通信數(shù)據(jù)智能分析方面已有很多相關(guān)研究成果：文獻[12]從在控制與監(jiān)控方面入手建立了功能失效模型,提高了電力通信網(wǎng)絡(luò)的可靠性;文獻[13]、文獻[14]分別從業(yè)務(wù)和通道段業(yè)務(wù)的風(fēng)險度角度出發(fā),構(gòu)建了基于電力通信網(wǎng)業(yè)務(wù)風(fēng)險均衡度的評估模型和相應(yīng)的評估指標,以提高業(yè)務(wù)系統(tǒng)的可靠性。上述文獻對傳統(tǒng)網(wǎng)絡(luò)或電力信息通信網(wǎng)絡(luò)的風(fēng)險評估、可靠性進行了研究,但均未從大數(shù)據(jù)的角度對信息通信網(wǎng)絡(luò)風(fēng)險、預(yù)警技術(shù)進行研究,該方面的研究在國內(nèi)外均處于起步階段。本文主要對電力信息通信網(wǎng)絡(luò)風(fēng)險、預(yù)警技術(shù)進行研究,結(jié)合先進的大數(shù)據(jù)相關(guān)技術(shù),設(shè)計了一套大數(shù)據(jù)信息通信預(yù)警平臺、風(fēng)險預(yù)警和數(shù)據(jù)處理架構(gòu),并利用電力行業(yè)各單位之間的通信流量數(shù)據(jù)進行危險預(yù)警架構(gòu)合理性及算法有效性驗證。

在應(yīng)用界,國外對信息通信數(shù)據(jù)智能分析的研究起步較早,包括很多行業(yè)規(guī)范和技術(shù)都是起源于各廠商。國內(nèi)雖然對信息通信技術(shù)的研究起步較晚,但是由于國內(nèi)軟件技術(shù)水平的飛速發(fā)展和技術(shù)資源的開放性越來越高,為國內(nèi)的信息通信數(shù)據(jù)管理技術(shù)發(fā)展帶來了生機和活力?；诂F(xiàn)代大數(shù)據(jù)分析技術(shù)、自動測量技術(shù)、自動控制技術(shù)、計算機應(yīng)用技術(shù)及相關(guān)的專用分析軟件形成的信息管理技術(shù)已經(jīng)廣泛應(yīng)用于各行各業(yè)。目前國內(nèi)比較成熟的產(chǎn)品包括北塔、東華、神州泰岳、摩卡、泰豪等公司的IT運維監(jiān)控管理系統(tǒng),其對數(shù)據(jù)中心涉及的應(yīng)用服務(wù)器等設(shè)備進行數(shù)據(jù)采集和監(jiān)控,結(jié)合一些安全閾值實現(xiàn)故障的告警。不足之處是均為被動的告警運維,缺乏主動預(yù)警效果,不滿足智能電網(wǎng)的發(fā)展需求。

 2 基于大數(shù)據(jù)的電力信息通信風(fēng)險預(yù)警架構(gòu)研究

2.1 基于大數(shù)據(jù)電力信息通信風(fēng)險分析及預(yù)警架構(gòu)

Hadoop和Spark作為開源的大數(shù)據(jù)處理平臺,近年來得到了快速發(fā)展,出現(xiàn)了許多相關(guān)應(yīng)用與解決方案。Hadoop支持大規(guī)模集群操作,在集群上可以方便地增加多至上千個節(jié)點進行并行計算,其計算速度會隨著集群數(shù)量相應(yīng)增加,可解決傳統(tǒng)日志分析系統(tǒng)無法處理海量日志數(shù)據(jù)的問題^[15],但Hadoop并不擅長處理實時應(yīng)用。Spark是一種與Hadoop相似的通用并行計算框架,是對Hadoop的補充,它采用內(nèi)存并行計算技術(shù)與流式處理技術(shù),在實時處理方面表現(xiàn)得更加優(yōu)越^[16]。本文針對電力通信特點所設(shè)計的大數(shù)據(jù)分析平臺架構(gòu)采用了Spark的并行計算及流處理技術(shù)。電力通信大數(shù)據(jù)分析平臺架構(gòu)如圖1所示。

圖1 電力通信大數(shù)據(jù)分析平臺架構(gòu)Fig.1 Analysis platform architecture of power communication big data

2.2 基于大數(shù)據(jù)的電力信息通信數(shù)據(jù)處理

電力信息通信大數(shù)據(jù)處理架構(gòu)如圖2所示。在數(shù)據(jù)處理框架中完成對各類日志的匯聚、處理和集中管理,其中日志收集模塊采集各自不同系統(tǒng)的日志、網(wǎng)絡(luò)日志、防火墻日志等,采用Hive建立業(yè)務(wù)分析模型,實現(xiàn)日志的智能多維度查詢,完成對數(shù)據(jù)的初步清洗。在數(shù)據(jù)存儲層完成對數(shù)據(jù)的進一步清洗和轉(zhuǎn)換,將數(shù)據(jù)分類存儲于HDFS中,利用Sqoop工具將數(shù)據(jù)從HDFS中導(dǎo)出到Oracle中。最后按照業(yè)務(wù)分類對日志的關(guān)鍵字進行統(tǒng)一分析,利用大數(shù)據(jù)技術(shù)完成相關(guān)數(shù)據(jù)的關(guān)聯(lián)分析和模式挖掘,采用數(shù)據(jù)清洗和壓縮歸并等手段對系統(tǒng)指標、安全狀況以及運行狀態(tài)的實時動態(tài)預(yù)警信息進行判定,最終在對預(yù)警信息進行深入分析的基礎(chǔ)上實現(xiàn)電網(wǎng)信息通信系統(tǒng)的主動預(yù)警。

圖2 電力信息通信大數(shù)據(jù)處理架構(gòu)Fig.2 Big data processing architecture for power information and communication

基于大數(shù)據(jù)的信息通信風(fēng)險預(yù)警架構(gòu)如圖3所示。為了實現(xiàn)對客服工單數(shù)據(jù)的統(tǒng)計分析、文本挖掘、聚類分析,進一步輔助用戶決策,采用了大數(shù)據(jù)可視化工具Tableau進行數(shù)據(jù)分析,并對信息通信系統(tǒng)設(shè)計相應(yīng)的數(shù)據(jù)分析頁面,實現(xiàn)數(shù)據(jù)分析結(jié)果的可視化展示,對項目數(shù)據(jù)進行全方位的科學(xué)分析來評估信息通信運維效果,為領(lǐng)導(dǎo)決策提供科學(xué)、嚴謹?shù)囊罁?jù),降低決策失敗的風(fēng)險。

圖3 基于大數(shù)據(jù)的信息通信風(fēng)險預(yù)警架構(gòu)Fig.3 Information communication risk early warning framework based on big data

2.3 基于大數(shù)據(jù)的電力信息通信趨勢預(yù)測

趨勢預(yù)測可利用數(shù)據(jù)本身的變化情況以及外部需求因素的影響規(guī)律進行分析和研究,在對故障的產(chǎn)生原因與傳播不建立復(fù)雜模型的情況下,實現(xiàn)對信息通信需求的估計和預(yù)測。由于信息通信網(wǎng)絡(luò)容量具有不確定性的特點,預(yù)測工作一般必須在一定的條件下才可進行。

本文考慮了兩種時間序列預(yù)測模型：ARIMA模型和Holt-Winters模型。其中ARIMA (p,q)模型包括一個自回歸模型AR(p)和一個移動平均模型MA(q),ARIMA模型的建模方程為：

由公式(2)—公式(4)可得預(yù)測公式如下：

由公式(6)—公式(8)可得預(yù)測公式如下：

圖4 某年7月8日-9月5日期間的總流量曲線Fig.4 Total flow curveduring from July 8th to September 5th

將原始數(shù)據(jù)中工作日的流量數(shù)據(jù)提出單獨分析并做預(yù)測。工作日的流量數(shù)據(jù)曲線如圖5所示,可以看出第40天到第50天之間某天（實際為9月8日）的數(shù)據(jù)與其他工作日的數(shù)據(jù)有明顯的不同,初步判斷為異常。

圖5 工作日的流量數(shù)據(jù)曲線Fig.5 Working day traffic data curve

上述模型編程使用R語言完成