【深度】面向智能電網應用的電力大數據關鍵技術
電力大數據分析技術,從根本上講,屬于傳統數據挖掘技術在海量數據挖掘下的新發展,但由于大數據海量、高速增長、多樣性的特點,并且不僅包含結構化數據,還含半結構化和非機構化數據,因此傳統的很多處理小數據的數據挖掘方法已經不再實用。
大數據環境下的數據挖掘與機器學習算法,可以從3個方面著手:1)從大數據的治理與抽樣、特征選擇的角度入手,將大數據小數據化;2)開展大數據下的聚類、分類算法研究,例如基于共軛度的最小二乘支持向量機(least squares support vector machine,LS-SVM)],隨機可擴展FuzzyC-Means (FCM)等;3)開展大數據的并行算法,將傳統的數據挖掘方法通過并行化,應用到大數據的知識挖掘中,例如基于MapReduce的機器學習與知識挖掘。
3.3 電力大數據的數據處理技術
電力大數據的數據處理技術包括分布式計算技術,內存計算技術,流處理技術等。分布式計算技術是為了解決大規模數據的分布式存儲與處理。內存計算技術是為了解決數據的高效讀取和處理在線的實時計算。流處理技術則是為了處理實時到達的、速度和規模不受控制的數據。
分布式計算是一種新的計算方式,研究如何將一個需要強大計算能力才能解決的問題分解為許多小的部分,然后再將這些部分分給多個計算機處理,最后把結果綜合起來得到最終結果。
分布式計算的一個典型代表是Google公司提出的MapReduce編程模型,該模型先將待處理的數據進行分塊,交給不同的Map任務區處理,并按鍵值存儲到本地硬盤,再用Reduce任務按照鍵值將結果匯總并輸出最終結果。分布式技術適用于電力系統信息采集領域的大規模分散數據源。
內存計算技術是將數據全部放在內層中進行操作的計算技術,該技術克服了對磁盤讀寫操作時的大量時間消耗,計算速度得到幾個數量級的大幅提升。內層計算技術伴隨著大數據浪潮的來臨和內存價格的下降得到快速的發展和廣泛的應用,EMC、甲骨文、SAT都推出了內存計算的解決方案,將客戶以前需要以天作為時間計算單位的業務降低為以秒作為時間計算單位,解決了大數據實時分析和知識挖掘的難題。
流處理的處理模型是將源源不斷的數據組視為流,當新的數據到來時就立即處理并返回結果,其基本理念是數據的價值會隨著時間的流逝而不斷減少,因此盡可能快地對最新的數據做出分析并給出結果,其應用場景主要有網頁點擊的實時統計、傳感器網絡、金融中的高頻交易等[8]。
隨著電力事業的發展,電力系統數據量不斷增長,對實時性的要求也越來越高,將數據流技術應用于電力系統可以為決策者提供即時依據,滿足實時在線分析需求。
3.4 電力大數據的數據展現技術
電力大數據的數據展現技術包括可視化技術、空間信息流展示技術、歷史流展示技術等。可視化技術、空間信息流展示技術、歷史流展示技術從3個不同的方面詮釋了電力大數據展現技術的豐富內涵。借助電力大數據的數據展現技術可幫助管理人員更直觀、準確地理解電力系統數據表達的意義,了解電力系統的運行狀態。
可視化技術廣泛應用于電網狀態的實時監控,顯著提高了電力系統的自動化水平。未來電力系統可視化還可結合復雜網絡中的相關理論在電網自動分層分區、自動布點等方面展開深入研究,發掘電網更深層次的規律和聯系。
空間信息流展示技術主要體現在電網參數與已有地理信息系統的結合上,包含變電站三維展示、虛擬現實等技術。將電力配電設備管理與地理信息系統緊密結合起來,有利于電網管理人員直觀地了解設備情況,從而為其決策提供最新的地理信息。在變電站工程設計中用空間信息流展示技術可以節約時間、資源、成本,為電力企業帶來巨大的效益。
歷史流展示技術體現在對電網歷史數據的管理與展示上。在電力系統中,深層次的應用分析往往以歷史數據為基礎。對生產現場的實時監測數據、電網的規劃數據和負荷預測數據,通過歷史流展示技術,可以繪制出數據的發展趨勢并預測出未來的數據走勢;通過歷史流回放展示技術,可以模擬歷史重大事件發生、演變,挖掘歷史事件潛在的知識與規律。
4 大數據在智能電網中的應用
電力大數據的應用場合涵蓋發、輸、變、配、用、調等電力行業的各個環節,在風電場選址、降低網損、風電并網、電網安全監測、大災難預警、電力企業精細化運營、電力設備狀態監測等領域有非常強的可實現性。
5 結論與展望
本文探討了大數據、云計算、智能電網三者之間的相互關系,并給出電力大數據的總體可執行框架,對電力企業大數據平臺的搭建具有參考價值。
本文闡述了電力大數據平臺中4個核心的關鍵技術,即集成管理技術、分析技術、處理技術、展現技術。大數據的集成管理技術應該考慮關系型和非關系型數據庫技術的綜合應用,并重點考慮NoSQL數據庫技術;大數據的分析技術應從大數據的治理與抽樣、大數據特征選擇、大數據小數據化、大數據的分類算法、大數據挖掘并行化等方面開展研究;大數據的處理技術應根據具體的應用需求考慮分布式計算、內存計算、流處理等技術;電力大數據的數據展現技術可考慮可視化技術、空間信息流展示技術、歷史流展示技術等。
大數據技術在商業領域已經獲得較為廣泛的應用并創造出巨大的商業價值,但是在電力系統中的應用才剛剛起步,因此結合大數據的技術優勢和電力系統的應用需求,發揮電力大數據的價值,將為智能電網的建設帶來新的發展契機。
電力企業應該牢牢抓住這個契機,從數據政策、人才培養、關鍵技術研發等層面,全面促成電力大數據技術的發展。

責任編輯:電朵云