近年來，大數(shù)據(jù)（big data）技術得到了各國政府和全球學術界、工業(yè)界的高度關注和重視，在各行業(yè)領域的應用迅猛發(fā)展。2012年3月，美國政府發(fā)布了“大數(shù)據(jù)研究發(fā)展創(chuàng)新計劃”，我國政府、學術界和工業(yè)界對大數(shù)據(jù)也予以了高度關注。就電力行業(yè)而言，近年來數(shù)據(jù)資源開始急劇增長并形成了一定的規(guī)模，對大數(shù)據(jù)技術也產(chǎn)生強烈的需求。具體表現(xiàn)為數(shù)據(jù)量由tb級向pb級發(fā)展，數(shù)據(jù)高性能存儲和高可擴展性面臨挑戰(zhàn)；業(yè)務向智能化、精益化方向發(fā)展，對復雜數(shù)據(jù)處理和實時性提出更高要求；跨業(yè)務、跨平臺的數(shù)據(jù)處理和分析能力需要進一步提升。

　　配用電網(wǎng)大數(shù)據(jù)體系架構方面，大數(shù)據(jù)軟件體系結構可分為數(shù)據(jù)采集與預處理、數(shù)據(jù)存儲和管理、數(shù)據(jù)分析和挖掘等幾個方面。在大數(shù)據(jù)存儲和管理方面，當前普遍采用的是分布式文件系統(tǒng)和分布式數(shù)據(jù)庫。由于大數(shù)據(jù)處理的多樣性和復雜性，學術界和工業(yè)界不斷研究和推出新的大數(shù)據(jù)計算模式和平臺；重要的發(fā)展趨勢包括hadoop平臺與其他計算模式的融合、多樣性混合計算模式、基于內存的大數(shù)據(jù)處理技術?？梢暬谴髷?shù)據(jù)分析的重要手段，同時大數(shù)據(jù)也對可視化技術提出了新的挑戰(zhàn)。實際應用中存在大量高速時序數(shù)據(jù)，而且這些數(shù)據(jù)的維度都很高，如何對這樣的數(shù)據(jù)進行可視化還沒有得到很好的解決，也是亟需研究的問題。

　　用戶用電負荷數(shù)據(jù)的存儲處理方面，用電負荷數(shù)據(jù)存在著多種形態(tài)、頻度，如何構建合理的存儲結構以滿足用電負荷數(shù)據(jù)的需求，已成為新的研究熱點。當前，存儲、索引的統(tǒng)籌設計也是適應海量高維時序數(shù)據(jù)的方向之一。另外，用電負荷數(shù)據(jù)通常可以從不同層面進行聚類：時間層面上，針對不同時間范疇的負荷序列進行聚類；用戶層面上，對不同用戶的用電負荷數(shù)據(jù)和其他信息聚類，實現(xiàn)用戶群體的劃分。關聯(lián)分析是在聚類等手段的基礎上分析信息內在關聯(lián)的手段。特別是對用電負荷大數(shù)據(jù)如何結合具體業(yè)務進行聚類和關聯(lián)分析還亟待研究。

　　本文研究智能配用電大數(shù)據(jù)應用關鍵技術，具體包括：

　　①配用電網(wǎng)大數(shù)據(jù)體系架構及共性基礎技術；

　?、谟脩粲秒娯摵蓴?shù)據(jù)存儲分析與修正技術；

　?、塾秒婎A測等智能配用電業(yè)務應用大數(shù)據(jù)分析技術；

　　④智能配用電大數(shù)據(jù)示范應用方案設計。

　　1 技術現(xiàn)狀

　　1.1 智能配用電業(yè)務分析的國內外研究現(xiàn)狀

　　近年來，智能配用電得到了重點關注和快速發(fā)展，其資源優(yōu)化配置能力強，運行穩(wěn)定高效，適應新能源的發(fā)展。

　　1）節(jié)電方面，國內外學術界對配用電的節(jié)電分析主要從配電和用電兩個方面開展了研究。在配電側，主要研究通過無功優(yōu)化、最優(yōu)潮流、網(wǎng)絡重構、分布式電源接入等方法降低配電網(wǎng)絡損耗達到節(jié)電目的。

　　2）用電預測方面，國內外研究主要集中在預測數(shù)據(jù)預處理、影響因素屬性約簡、構建用電預測模型等方面。如采用基于粗糙集理論的屬性約簡算法，能夠挖掘出與待預測用戶相關性大的屬性作為預測模型的輸入量。

　　3）配用電網(wǎng)架優(yōu)化方面，國內外對配電網(wǎng)網(wǎng)架優(yōu)化或規(guī)劃問題已有較多研究，也開始在配電網(wǎng)優(yōu)化中考慮分布式供電的影響，模型求解多采用數(shù)學規(guī)劃法、啟發(fā)式算法、智能優(yōu)化算法等。

　　4）錯峰調度方面，文獻分析了“錯峰用電”的地位和作用，闡述了“錯峰用電”對提高供電質量、減少線路損耗、增加設備的輸送能力和延長設備的使用壽命等都具有重要的現(xiàn)實意義和應用價值。

　　1.2 智能配用電大數(shù)據(jù)應用的國內外研究現(xiàn)狀

　　智能電網(wǎng)的目標是建設覆蓋電力系統(tǒng)生產(chǎn)全過程的實時系統(tǒng)，而對這個系統(tǒng)提供安全性、可靠性、堅強性支撐的則是電網(wǎng)的全景、實時數(shù)據(jù)，以及對這些數(shù)據(jù)的快速分析和對分析結果的應用。因此在本質上，智能電網(wǎng)是大數(shù)據(jù)在電力上的應用。

　　2012年ibm公司提出，電力能源由單向的電力流動擴展到電力與數(shù)據(jù)信息的多向流動，這將為傳統(tǒng)的電力行業(yè)價值鏈帶來突破性的變化。世界各地的電力公司也陸續(xù)開展了電力數(shù)據(jù)應用實踐。例如美國sgd&e為客戶提供一個可選的“空調負荷循環(huán)項目”，通過這個項目顧客可以讓電力公司在用電高峰期替他們管理空調。美國加州大學洛杉磯分校的研究者根據(jù)大數(shù)據(jù)理論，將人口調查信息、電力企業(yè)提供的用戶實時用電信息和地理、氣象等信息全部整合，設計了一款“電力地圖”。國內各界也已積極投入電力大數(shù)據(jù)的應用研究。

　　2 智能配用電大數(shù)據(jù)總體框架

　　配用電大數(shù)據(jù)應用系統(tǒng)總體架構分數(shù)據(jù)資源、數(shù)據(jù)處理、公共服務、業(yè)務應用4個層次，見圖1。數(shù)據(jù)資源層為數(shù)據(jù)處理提供數(shù)據(jù)源輸入，數(shù)據(jù)處理層為公共服務層提供數(shù)據(jù)及計算服務功能，公共服務層為業(yè)務應用層提供業(yè)務應用的交互操作。

　　圖1 智能配用電大數(shù)據(jù)應用總體架構圖

　　數(shù)據(jù)資源層主要實現(xiàn)從歷史、實時數(shù)據(jù)中心或相關業(yè)務系統(tǒng)獲取電網(wǎng)內外部數(shù)據(jù)，如配電自動化系統(tǒng)、用電信息采集系統(tǒng)等內部數(shù)據(jù)，氣象信息等外部數(shù)據(jù)。

　　數(shù)據(jù)處理層采用混合型的大數(shù)據(jù)存儲和處理架構實現(xiàn)對多源異構配用電大數(shù)據(jù)的多樣性存儲和處理功能。混合存儲可適應分布式文件系統(tǒng)、列式數(shù)據(jù)庫、內存數(shù)據(jù)庫等多種數(shù)據(jù)存儲和管理形式，以滿足不同應用的需求；處理架構分別面向離線分析、實時計算、計算密集型數(shù)據(jù)分析等場景采用分布式批處理、內存計算、高性能計算等技術實現(xiàn)。

　　公共服務層實現(xiàn)應用系統(tǒng)的基礎功能，如數(shù)據(jù)模型管理、業(yè)務流程控制、服務總線、業(yè)務權限管理等功能。在公共服務層和數(shù)據(jù)處理層之間采用支持高并發(fā)、低延時事務操作的分布式內存數(shù)據(jù)緩存技術，降低業(yè)務應用操作與數(shù)據(jù)處理層之間的耦合性，提高應用服務響應效率。

　　業(yè)務應用層構建節(jié)電、用電預測、網(wǎng)架優(yōu)化、錯峰調度4項業(yè)務，實現(xiàn)配用電大數(shù)據(jù)應用系統(tǒng)的典型業(yè)務功能。采用模塊化軟件設計方法實現(xiàn)4個模塊功能的即插即用，并在充分考慮模塊之間的信息聯(lián)絡及功能聯(lián)合的基礎上，遵循規(guī)范的接口，實現(xiàn)模塊之間的功能融合，從而實現(xiàn)4個業(yè)務模塊之間既可獨立運行，又可協(xié)作互補。

　　3 智能配用電大數(shù)據(jù)關鍵技術

　　目前，國內外對智能配用電大數(shù)據(jù)的研究大部分處在研究和探索階段，隨著研究的深入和技術的發(fā)展，對智能配用電關鍵技術的研究將著重從以下方面進行。

　　3.1 智能配用電大數(shù)據(jù)體系架構及數(shù)據(jù)集成技術

　　智能配用電大數(shù)據(jù)體系架構及數(shù)據(jù)集成技術研究包括3個方面：配用電大數(shù)據(jù)體系架構、多源異構配用電數(shù)據(jù)集成及存儲處理技術、大數(shù)據(jù)可視化技術，智能配用電大數(shù)據(jù)體系架構及數(shù)據(jù)集成技術圖見圖2。

　　圖2 智能配用電大數(shù)據(jù)體系架構及數(shù)據(jù)集成技術圖

　　3.1.1 配用電大數(shù)據(jù)體系架構

　　配用電大數(shù)據(jù)體系架構包括硬件架構、評估方法、技術標準和安全體系。具體包括：

　?、俜植际酱髷?shù)據(jù)采集、存儲和處理硬件體系架構的集群節(jié)點規(guī)模、硬件優(yōu)化配置、網(wǎng)絡拓撲結構及系統(tǒng)可靠性和可擴展性；

　?、诿嫦驍?shù)據(jù)密集型配用電大數(shù)據(jù)應用的批處理、圖計算和內存計算架構；

　?、勖嫦蛴嬎忝芗团溆秒姶髷?shù)據(jù)應用的高性能計算架構；

　?、芘溆秒姶髷?shù)據(jù)體系結構評估方法；

　　⑤配用電大數(shù)據(jù)元數(shù)據(jù)、數(shù)據(jù)交換等技術標準規(guī)范；

　?、夼溆秒姶髷?shù)據(jù)訪問認證、數(shù)據(jù)存儲和隱私加密等安全技術。

　　3.1.2 多源異構配用電數(shù)據(jù)集成及存儲處理技術

　　多源異構配用電數(shù)據(jù)集成及存儲處理技術包括多源數(shù)據(jù)特性、信息模型、融合方法和標準。具體包括：

　　①對電網(wǎng)企業(yè)內部的配電自動化、用電信息采集系統(tǒng)、負荷控制系統(tǒng)等和外部的氣象、社會經(jīng)濟等多源數(shù)據(jù)特性進行分析；

　　②抽象和構建智能配用電大數(shù)據(jù)環(huán)境下包含結構化、非結構化數(shù)據(jù)的信息模型；

　　③建立智能配用電多業(yè)務數(shù)據(jù)融合方法和信息交換標準，實現(xiàn)智能配用電跨平臺數(shù)據(jù)的遷移與信息交換。

　　3.1.3 大數(shù)據(jù)可視化技術

　　大數(shù)據(jù)可視化技術包括可視化信息模型構建及信息壓縮、動態(tài)高維數(shù)據(jù)的可視化。具體包括：

　?、倥溆秒姅?shù)據(jù)可視化基礎信息模型、數(shù)據(jù)映射方式和信息交換；

　?、诩骖櫣?jié)點關系的清晰表達和大容量節(jié)點的展示需求的超大圖布局方法；

　?、蹥v史數(shù)據(jù)、實時數(shù)據(jù)以及未來規(guī)劃數(shù)據(jù)的動態(tài)展示及降維分析。

　　3.2 用戶用電負荷數(shù)據(jù)存儲分析與修正技術

　　用戶用電負荷數(shù)據(jù)存儲分析與修正技術內容包括2個方面：用電負荷數(shù)據(jù)存儲分析技術、用戶用電負荷數(shù)據(jù)分析與修正技術。用電大數(shù)據(jù)存儲分析圖見圖3。

　　圖3 用電大數(shù)據(jù)存儲分析圖

　　3.2.1 用電負荷數(shù)據(jù)存儲分析技術

　　用電負荷數(shù)據(jù)存儲分析技術包括數(shù)據(jù)索引、高效存儲。具體包括：

　　①負荷均衡的高維時序數(shù)據(jù)分布式索引；

　?、卺槍τ脩粲秒娯摵蓴?shù)據(jù)不同維度剖面特征的多級索引；

　　③面向配用電網(wǎng)多源數(shù)據(jù)的行列融合的索引機制；

　?、芑诹写鎯Φ挠脩粲秒娯摵蓵r間序列數(shù)據(jù)的存儲模型；

　?、莼诜植际轿募到y(tǒng)的多結構用電負荷數(shù)據(jù)的存儲模型；

　?、拗С执笠?guī)模時序數(shù)據(jù)的數(shù)據(jù)壓縮存儲及支持用戶用電負荷數(shù)據(jù)分析的高效行列混合存儲技術。

　　3.2.2 用戶用電負荷數(shù)據(jù)分析與修正技術

　　用戶用電負荷數(shù)據(jù)分析與修正技術包括大數(shù)據(jù)的清洗與修正、聚類分析、關聯(lián)與演化分析。具體包括：

　?、倩跁r間序列分析的卡爾曼濾波用電負荷數(shù)據(jù)修正方法；

　?、诨谟脩粲秒姅?shù)據(jù)關聯(lián)性的分布式海量數(shù)據(jù)清洗、修正算法；

　?、刍谟秒娯摵蓴?shù)據(jù)時序性的并行聚類算法，結合異構數(shù)據(jù)源的協(xié)同聚類分析方法；

　　④面向用電負荷數(shù)據(jù)的多源用戶關聯(lián)分析方法；

　?、莼诜植际接嬎憧蚣艿姆植际疥P聯(lián)規(guī)則挖掘算法；

　?、藁谏鐣残畔⒎治龅挠秒娪脩絷P聯(lián)挖掘算法。

　　3.3 智能配用電典型業(yè)務大數(shù)據(jù)分析技術

　　智能配用電典型業(yè)務大數(shù)據(jù)分析技術研究內容包括4個方面內容：節(jié)電技術、用電預測技術、配用電網(wǎng)架優(yōu)化技術、錯峰調度技術。智能配用電大數(shù)據(jù)分析圖見圖4。

　　圖4 智能配用電大數(shù)據(jù)分析圖

　　3.3.1 節(jié)電技術

　　基于智能配用電大數(shù)據(jù)的節(jié)電技術包括典型電力用戶用電特性聚類分析、電價、激勵機制、用戶用電行為、環(huán)境感知等多因素用戶節(jié)電關聯(lián)分析方法。具體包括：

　　①典型電力用戶用電特性局部敏感性相似分析技術；

　?、诰C合考慮用戶社會經(jīng)濟、氣候等因素對電力用戶用電特性的影響并研究量化不同因素對電力用戶用電特性的關聯(lián)度；

　?、壑悄芘潆娋W(wǎng)中分布式電源的配置和運行策略對電力用戶用電特性的關聯(lián)度；

　　④計及電價、激勵機制、用戶行為、環(huán)境感知等因素的用戶用電數(shù)據(jù)分析模型；

　　⑤與大數(shù)據(jù)分析相結合的多因素用戶節(jié)電關聯(lián)分析方法；

　?、廾嫦蛴脩粲秒?、網(wǎng)架結構特性的配電網(wǎng)節(jié)電降損分析方法。

　　3.3.2 用電預測技術

　　基于智能配用電大數(shù)據(jù)的用電預測技術包括用電預測影響因素識別方法、多類型用電預測模型。具體包括：

　?、俜植际诫娫?、電動汽車充換（放）電等的用戶個體、群體多時態(tài)數(shù)據(jù)的量值特征及規(guī)范化方法；

　?、诨谟脩粲秒姎v史數(shù)據(jù)挖掘的用電預測模型與參數(shù)影響因素；

　?、塾秒婎A測模型、參數(shù)與用戶用電行為特征、用戶社會經(jīng)濟特征等諸多因素的關聯(lián)性；

　?、苡脩粲秒婎A測關鍵因素關聯(lián)度矩陣構建方法；研究用電預測關鍵因素關聯(lián)度的屬性約簡方法；

　　⑤面向多類型用戶的短期和中長期參數(shù)自校正時間序列用電預測模型；

　?、藁谟脩舳喾N聚類方法的用戶群體短期和中長期參數(shù)自校正時間序列用電預測模型。

　　3.3.3 配用電網(wǎng)架優(yōu)化技術

　　基于智能配用電大數(shù)據(jù)的配用電網(wǎng)架優(yōu)化技術包括數(shù)據(jù)并行聚類及關聯(lián)分析、可行網(wǎng)架集構建方法。具體包括：

　?、僭O備負荷率等參數(shù)和用戶用電規(guī)律的并行聚類及關聯(lián)分析方法；

　　②負荷密度及負荷變化趨勢與網(wǎng)架結構的關聯(lián)分析方法；

　?、垩芯烤W(wǎng)架結構與供電可靠性和線路功率損耗等的并行聚類及關聯(lián)分析方法；

　?、芘c智能配用電網(wǎng)架構建相關的分層分類數(shù)據(jù)關聯(lián)模型；

　　⑤融合社會經(jīng)濟發(fā)展趨勢、城鎮(zhèn)規(guī)劃與建設、分布式電源和電動汽車充電站接入，以及基于大數(shù)據(jù)的用電預測和用戶用電特征挖掘等多個方面的基于分層分類數(shù)據(jù)關聯(lián)模型生成可行網(wǎng)架集的方法。

　　3.3.4 錯峰調度技術

　　基于智能配用電大數(shù)據(jù)的錯峰調度技術包括聚類分析技術、自動分配算法。具體包括：

　　①配用電錯峰調度資源多源數(shù)據(jù)融合規(guī)則和方法；

　?、跐M足配用電安全性、經(jīng)濟性及用戶多樣化用電需求的用戶用電特性等多因素的錯峰資源大數(shù)據(jù)層次化聚類分析方法；

　　③考慮經(jīng)濟性和安全性等約束邊界，構造配用電側可調度錯峰資源分配指標權重系數(shù)矩陣；

　　④綜合配電、用電和社會經(jīng)濟等多維可調度資源，建立配用電側錯峰指標分配體系和遞階層次模型。

　　3.4 智能配用電大數(shù)據(jù)示范應用方案設計

　　在示范工程建設與實施上，結合上海浦東新區(qū)配用電業(yè)務的具體需求，兼顧工程建設的經(jīng)濟成本的考慮，配置適應配用電業(yè)務發(fā)展要求的、滿足研究性能要求的包含高性能計算機、中低端服務器混合配置的配用電大數(shù)據(jù)應用系統(tǒng)硬件；在軟件配置上，構建大數(shù)據(jù)統(tǒng)一數(shù)據(jù)處理平臺，構建包含并行計算、高速檢索、處理結果緩存等組件的大數(shù)據(jù)軟件處理環(huán)境，為多源異構數(shù)據(jù)的高速處理提供支撐。在充分考慮信息安全要求的基礎上，通過國網(wǎng)上海市電力公司已有的海量歷史/準實時綜合數(shù)據(jù)平臺，按照電力系統(tǒng)“專網(wǎng)專用、安全分區(qū)、橫向隔離、縱向加密”的安全防護要求通過安全iii區(qū)接入能量管理系統(tǒng)、配用電自動化系統(tǒng)、電能質量監(jiān)測系統(tǒng)、生產(chǎn)管理系統(tǒng)、用電信息采集系統(tǒng)、營銷應用系統(tǒng)、客戶服務系統(tǒng)7個電力行業(yè)內的信息系統(tǒng)，實現(xiàn)對配電和用電的實時數(shù)據(jù)、業(yè)務數(shù)據(jù)的安全接入；遵循國家信息安全防護的規(guī)定接入氣象信息系統(tǒng)、社會經(jīng)濟數(shù)據(jù)2個電力行業(yè)外數(shù)據(jù)，共接入包含電力行業(yè)內和行業(yè)外的9個信息系統(tǒng)，為大數(shù)據(jù)配用電應用系統(tǒng)提供多源可靠的綜合數(shù)據(jù)。在基于大數(shù)據(jù)技術的信息融合與數(shù)據(jù)挖掘的基礎上，部署節(jié)電、用電預測、網(wǎng)架優(yōu)化、錯峰調度等高級應用，實現(xiàn)基于大數(shù)據(jù)技術的智能配用電應用深化與性能提升，推動上海市智能配用電業(yè)務的綜合智能化、精益化發(fā)展。

　　4 結語

　　智能配用電大數(shù)據(jù)是充分發(fā)掘智能電網(wǎng)價值的重要方面，而且是一個在國內外都剛剛起步，具有很大研究空間的領域。主要結論為：

　　1）提出了配用電體系架構，設計先進適用架構，解決多源異構配用電數(shù)據(jù)的多源集成、統(tǒng)一存儲、高效處理的難題。

　　2）詳細分析了智能配用電大數(shù)據(jù)典型業(yè)務場景和關鍵技術，提出了大規(guī)模配用電數(shù)據(jù)存儲、處理、修正及應用解決方法。

　　3）設計智能配用電大數(shù)據(jù)應用方案，為示范工程建設提供支撐。