基于大數據的電力信息通信預警技術研究

2018-03-28 21:53:35 《電力信息與通信技術》微信公眾號　點擊量：評論 (0)

根據電力行業中的信息通信技術特點,針對目前存在的主要問題,通過研究信息通信運行故障監測與風險預警關鍵技術,綜合運用大數據關聯分析技術、數據挖掘技術以及狀態評估技術,實現信息通信風險態勢全面感知、運維數據全面分析、運維風險實時預警,從而提升信息通信故障監測和風險預

0 引言

電力信息通信網作為電力系統的專用網絡,作為支撐電力系統的“三大支柱”之一,保障著電力系統生產的安全、穩定運行^[1]。在電力信息通信行業中,故障風險發生具有強耦合性,當某個信息設備或者系統受到的故障破壞、惡意攻擊時,會使得大量終端設備的采集功能、監測能力受到影響,進而造成電力系統物理空間設備無法正常運行^[2]。

雖然目前電力信息通信技術發展迅速,近年來建設了多個電力信息運維監測和管理系統,為電力系統運維工作提供了強大的支撐,但電力信息通信網絡中的運行數據采集缺乏統一有效的手段,數據全面性、準確性以及效率都有很多不足,并且各種監控告警信息非常分散,導致信息通信運行中發生的問題往往只能被動響應,無法通過基于業務系統基礎架構、信息系統實時運行狀況和歷史運行狀況的信息系統風險預警模型進行運行故障的全面監測與趨勢預測,嚴重影響了業務的正常開展。

在大數據時代,隨著電網信息系統架構的不斷擴展,IT設備的數量越來越多,網絡也變得更加復雜,信息通信系統中的狀態數據、運行數據以及故障數據等體量越來越大,且具有典型的大數據特征^[3],如果數據未經過處理,則對運維沒有任何意義和價值。綜合運用大數據采集技術、實時數據流處理技術、關聯分析挖掘技術、狀態評估技術、趨勢預測及風險評估技術,建立科學的分析模型,實現信息通信風險態勢全面感知、運維數據全面分析、運維風險實時預警,達到在故障發生前解決問題的主動運維效果,有助于提升信息通信故障監測和風險預警能力,對提高信息通信系統的安全性、穩定性及其服務能力具有重要的理論價值和實際意義。

1 國內外研究現狀

1.1 國內外大數據技術研究現狀

在學術界,《Nature》早在2008年就推出了“big data”專刊,從互聯網技術、超級計算、生物醫學等方面來專門探討對大數據的研究^[4];2011年5月,全球知名咨詢公司麥肯錫發布了“Big data: The next frontier for innovation,competition and productivity”的報告^[5],首次提出“大數據”的概念;世界經濟論壇（World Economic Forum）2012年發布并指出了大數據的發展為世界帶來的新機遇^[6];美國政府在2012年3月29日發布了“大數據研究發展倡議”,正式啟動“大數據發展計劃”^[7];2012年
7月,日本推出“新ICT戰略研究計劃”,其中重點關注大數據應用,將大數據定位為戰略領域之一^[8]。

在應用界,谷歌公司在2009年通過對人們在網上檢索的詞條與疾病中心的數據進行分析處理,及時地判斷出流感的傳播來源,為公共衛生機構提供了有價值的信息;美國最大的西奈山醫療中心使用來自大數據創業公司Ayasdi的技術分析大腸桿菌的全部基因序列,包括超過100萬個DNA變體,來了解為什么菌株會對抗生素產生抗藥性;美國俄亥俄州運輸部（ODOT）利用INRIX的云計算分析處理大數據來了解和處理惡劣天氣的道路狀況,減少了冬季連環撞車發生的概率,方便了人們的出行。

大數據技術描述了一種新一代的技術和構架,用于以很經濟的方式,以高速的捕獲、發現和分析技術,從各種超大規模的數據中提取價值。國外的大數據研究工作主要集中在如何進行大數據存儲、處理、分析、管理的技術及軟件應用上。經過多年的研究和發展,已有很多優秀的挖掘方法,其中常見有路徑分析、關聯分析、序列模式、分類分析、聚類分析以及統計分析等^[9]。目前的大數據平臺以Hadoop為主,其可以有效解決傳統日志系統無法處理海量日志數據的問題,但Hadoop并不擅長處理實時應用,主要采用離線處理方式^[10]。基于Hadoop的實時處理應用目前還比較少,采用流處理數據對日志數據進行處理是未來的發展趨勢^[11]。

1.2 國內外信息通信數據智能分析技術研究現狀

在學術界,近年來信息通信數據智能分析方面已有很多相關研究成果：文獻[12]從在控制與監控方面入手建立了功能失效模型,提高了電力通信網絡的可靠性;文獻[13]、文獻[14]分別從業務和通道段業務的風險度角度出發,構建了基于電力通信網業務風險均衡度的評估模型和相應的評估指標,以提高業務系統的可靠性。上述文獻對傳統網絡或電力信息通信網絡的風險評估、可靠性進行了研究,但均未從大數據的角度對信息通信網絡風險、預警技術進行研究,該方面的研究在國內外均處于起步階段。本文主要對電力信息通信網絡風險、預警技術進行研究,結合先進的大數據相關技術,設計了一套大數據信息通信預警平臺、風險預警和數據處理架構,并利用電力行業各單位之間的通信流量數據進行危險預警架構合理性及算法有效性驗證。

在應用界,國外對信息通信數據智能分析的研究起步較早,包括很多行業規范和技術都是起源于各廠商。國內雖然對信息通信技術的研究起步較晚,但是由于國內軟件技術水平的飛速發展和技術資源的開放性越來越高,為國內的信息通信數據管理技術發展帶來了生機和活力。基于現代大數據分析技術、自動測量技術、自動控制技術、計算機應用技術及相關的專用分析軟件形成的信息管理技術已經廣泛應用于各行各業。目前國內比較成熟的產品包括北塔、東華、神州泰岳、摩卡、泰豪等公司的IT運維監控管理系統,其對數據中心涉及的應用服務器等設備進行數據采集和監控,結合一些安全閾值實現故障的告警。不足之處是均為被動的告警運維,缺乏主動預警效果,不滿足智能電網的發展需求。

2 基于大數據的電力信息通信風險預警架構研究

2.1 基于大數據電力信息通信風險分析及預警架構

Hadoop和Spark作為開源的大數據處理平臺,近年來得到了快速發展,出現了許多相關應用與解決方案。Hadoop支持大規模集群操作,在集群上可以方便地增加多至上千個節點進行并行計算,其計算速度會隨著集群數量相應增加,可解決傳統日志分析系統無法處理海量日志數據的問題^[15],但Hadoop并不擅長處理實時應用。Spark是一種與Hadoop相似的通用并行計算框架,是對Hadoop的補充,它采用內存并行計算技術與流式處理技術,在實時處理方面表現得更加優越^[16]。本文針對電力通信特點所設計的大數據分析平臺架構采用了Spark的并行計算及流處理技術。電力通信大數據分析平臺架構如圖1所示。

圖1 電力通信大數據分析平臺架構Fig.1 Analysis platform architecture of power communication big data

2.2 基于大數據的電力信息通信數據處理

電力信息通信大數據處理架構如圖2所示。在數據處理框架中完成對各類日志的匯聚、處理和集中管理,其中日志收集模塊采集各自不同系統的日志、網絡日志、防火墻日志等,采用Hive建立業務分析模型,實現日志的智能多維度查詢,完成對數據的初步清洗。在數據存儲層完成對數據的進一步清洗和轉換,將數據分類存儲于HDFS中,利用Sqoop工具將數據從HDFS中導出到Oracle中。最后按照業務分類對日志的關鍵字進行統一分析,利用大數據技術完成相關數據的關聯分析和模式挖掘,采用數據清洗和壓縮歸并等手段對系統指標、安全狀況以及運行狀態的實時動態預警信息進行判定,最終在對預警信息進行深入分析的基礎上實現電網信息通信系統的主動預警。

圖2 電力信息通信大數據處理架構Fig.2 Big data processing architecture for power information and communication

基于大數據的信息通信風險預警架構如圖3所示。為了實現對客服工單數據的統計分析、文本挖掘、聚類分析,進一步輔助用戶決策,采用了大數據可視化工具Tableau進行數據分析,并對信息通信系統設計相應的數據分析頁面,實現數據分析結果的可視化展示,對項目數據進行全方位的科學分析來評估信息通信運維效果,為領導決策提供科學、嚴謹的依據,降低決策失敗的風險。

圖3 基于大數據的信息通信風險預警架構Fig.3 Information communication risk early warning framework based on big data