電力消費(fèi)大數(shù)據(jù)智能分析技術(shù)架構(gòu)

隨著能源互聯(lián)網(wǎng)技術(shù)的發(fā)展和應(yīng)用，互聯(lián)網(wǎng)與用電行為逐步實(shí)現(xiàn)深度融合，體現(xiàn)在大量能源互聯(lián)網(wǎng)數(shù)據(jù)、互聯(lián)網(wǎng)用電行為數(shù)據(jù)、自然環(huán)境數(shù)據(jù)等多源異構(gòu)數(shù)據(jù)共同支撐用電環(huán)節(jié)的網(wǎng)絡(luò)化和智能化，包括節(jié)電負(fù)荷預(yù)測(cè)、錯(cuò)峰調(diào)度等電力消費(fèi)相關(guān)大數(shù)據(jù)在類型、性質(zhì)、形式和內(nèi)容上均存在極大的差異。表現(xiàn)為顯著的多源異構(gòu)特性，雖然為進(jìn)一步的分析與挖掘提供了豐富的可用信息，但由此帶來的異構(gòu)數(shù)據(jù)源的語(yǔ)義關(guān)聯(lián)問題又使其面臨著新的挑戰(zhàn)。互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)大數(shù)據(jù)智能分析技術(shù)路線圖如圖5-17所示。本書針對(duì)能源互聯(lián)網(wǎng)接入數(shù)據(jù)、互聯(lián)網(wǎng)用電行為數(shù)據(jù)、地理社會(huì)環(huán)境數(shù)據(jù)的“規(guī)模龐大”和“異質(zhì)多源”兩個(gè)特性，為智能用電相關(guān)的大規(guī)模多源異構(gòu)數(shù)據(jù)的融合和管理提供新原理與新方法，實(shí)現(xiàn)多源異構(gòu)大數(shù)據(jù)的智能處理及高效運(yùn)算。關(guān)鍵支撐技術(shù)主要包括：智能用電相關(guān)大數(shù)據(jù)的預(yù)處理及質(zhì)量控制;針對(duì)智能用電相關(guān)大數(shù)據(jù)的分布式數(shù)據(jù)庫(kù)架構(gòu)的研究，以及多源異構(gòu)大數(shù)據(jù)的融合及可視化;大規(guī)模多源異構(gòu)數(shù)據(jù)的特征表示技術(shù)，以及大規(guī)模多源異構(gòu)數(shù)據(jù)的關(guān)聯(lián)分析模型建立;針對(duì)不同類型用戶實(shí)現(xiàn)身份驗(yàn)證及安全訪問控制等。

圖5-17互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)大數(shù)據(jù)智能分析技術(shù)路線圖

電力消費(fèi)大數(shù)據(jù)處理流程

互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)相關(guān)大數(shù)據(jù)在采集以及傳輸過程中，都可能出現(xiàn)錯(cuò)誤，產(chǎn)生噪聲或空值。數(shù)據(jù)預(yù)處理可以改進(jìn)數(shù)據(jù)的質(zhì)量，消除數(shù)據(jù)的不完整性、冗余性和模糊性等，有助于保障挖掘過程中的數(shù)據(jù)精度和質(zhì)量。

圖5-18多源異構(gòu)數(shù)據(jù)處理流程

由于互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)相關(guān)大數(shù)據(jù)的來源及組成不同，如圖5-18所示，首先對(duì)數(shù)據(jù)進(jìn)行屬性的分析，并建立合適的屬性索引和分類。然后，通過數(shù)據(jù)評(píng)估、數(shù)據(jù)重組、數(shù)據(jù)清洗、數(shù)據(jù)抽取、數(shù)據(jù)過濾、數(shù)據(jù)歸約等六個(gè)模塊分別對(duì)多源異構(gòu)數(shù)據(jù)進(jìn)行處理。這六個(gè)子模塊先后作用于現(xiàn)實(shí)數(shù)據(jù)源，共同完成了現(xiàn)實(shí)數(shù)據(jù)源向系統(tǒng)使用的數(shù)據(jù)矩陣的轉(zhuǎn)換。數(shù)據(jù)的評(píng)估和重組是數(shù)據(jù)預(yù)處理的前提。將數(shù)據(jù)源先清洗為適合挖掘的干凈數(shù)據(jù)，然后根據(jù)數(shù)據(jù)集的大小確定是否需要進(jìn)行數(shù)據(jù)抽取，再對(duì)數(shù)據(jù)集中不符合挖掘格式的數(shù)據(jù)進(jìn)行數(shù)據(jù)過濾，若數(shù)據(jù)集中的冗余屬性較多，則需要進(jìn)行數(shù)據(jù)歸約，經(jīng)過這些數(shù)據(jù)預(yù)處理模塊的處理后，保存為數(shù)據(jù)矩陣的格式，為后面的挖掘算法做好準(zhǔn)備。并非所有數(shù)據(jù)源的數(shù)據(jù)都需要全部經(jīng)過上述六個(gè)步驟的處理，具體操作視數(shù)據(jù)而定。

另外，在矩陣恢復(fù)理論框架下，建立多源數(shù)據(jù)的結(jié)構(gòu)化低秩表示模型，表征多模態(tài)數(shù)據(jù)間的結(jié)構(gòu)關(guān)系，通過矩陣的低秩與結(jié)構(gòu)化稀疏性約束，能夠從稀疏的顯著誤差中恢復(fù)出關(guān)系矩陣，從而實(shí)現(xiàn)數(shù)據(jù)的質(zhì)量控制。

1.互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)數(shù)據(jù)屬性與分類

互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)相關(guān)的大數(shù)據(jù)主要包括用戶的社會(huì)屬性、用電行為、能源互聯(lián)網(wǎng)接入等信息，存在著各種結(jié)構(gòu)化和非結(jié)構(gòu)類型，在進(jìn)行預(yù)處理和數(shù)據(jù)融合前需要對(duì)數(shù)據(jù)屬性和類型進(jìn)行分析，建立合適的屬性索引和分類，為數(shù)據(jù)的預(yù)處理奠定基礎(chǔ)，見表5-4。

表5-4 互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)數(shù)據(jù)屬性和類型

2.數(shù)據(jù)預(yù)處理

互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)數(shù)據(jù)預(yù)處理的主要目的是使多源異構(gòu)數(shù)據(jù)更易于數(shù)據(jù)挖掘等工作的高效計(jì)算，過程包括：

(1)質(zhì)量檢查。質(zhì)量檢查部分不會(huì)對(duì)數(shù)據(jù)進(jìn)行任何修改，而是從一些客觀的角度對(duì)數(shù)據(jù)進(jìn)行衡量，如對(duì)屬性的掃描、檢查屬性類型、檢查數(shù)據(jù)的缺損狀況等，對(duì)數(shù)據(jù)的衡量是數(shù)據(jù)分析的參考依據(jù)。

(2)數(shù)據(jù)清理。數(shù)據(jù)清理部分旨在處理數(shù)據(jù)源中的錯(cuò)誤，如填充缺損值、平滑噪聲數(shù)據(jù)、重復(fù)記錄檢測(cè)、孤立點(diǎn)檢測(cè)等。

(3)屬性變換。屬性變換指的是對(duì)數(shù)據(jù)列的變換，包括對(duì)屬性值的處理和屬性類型的變換，如屬性的增加與刪除、有監(jiān)督離散化和無監(jiān)督離散化等。

(4)實(shí)例變換。實(shí)例變換指的是對(duì)數(shù)據(jù)行的變換，包括數(shù)據(jù)實(shí)例的增加與約簡(jiǎn)，如模擬數(shù)據(jù)的產(chǎn)生和數(shù)據(jù)的抽樣等。

(5)實(shí)例檢測(cè)。實(shí)例檢測(cè)的目的在于發(fā)現(xiàn)一些特定的實(shí)例，如重復(fù)記錄和孤立點(diǎn)(又稱為離群點(diǎn))，這樣的數(shù)據(jù)實(shí)例有時(shí)候也是數(shù)據(jù)分析的重點(diǎn)，如欺詐檢測(cè)等。

數(shù)據(jù)預(yù)處理系統(tǒng)如圖5-19所示，從整體上分為數(shù)據(jù)格式轉(zhuǎn)換子系統(tǒng)、預(yù)處理算法實(shí)現(xiàn)環(huán)境子系統(tǒng)和數(shù)據(jù)管理子系統(tǒng)三個(gè)部分。從整體上看，系統(tǒng)的輸入是一個(gè)數(shù)據(jù)文件，或者是一個(gè)數(shù)據(jù)庫(kù)表，輸出的結(jié)果是對(duì)其進(jìn)行處理后的數(shù)據(jù)文件或者數(shù)據(jù)庫(kù)表處理包括應(yīng)用數(shù)據(jù)預(yù)處理算法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，或者是格式轉(zhuǎn)換。因此，系統(tǒng)被設(shè)計(jì)成為數(shù)據(jù)文件驅(qū)動(dòng)型的，任何操作都必須建立在有可用的數(shù)據(jù)文件的前提下。

(1)格式轉(zhuǎn)換子系統(tǒng)。由于大數(shù)據(jù)智能分析任務(wù)所需要的數(shù)據(jù)有可能來自許多不同的地方，因此數(shù)據(jù)的格式可能會(huì)千差萬別大部分的數(shù)據(jù)都存儲(chǔ)在數(shù)據(jù)庫(kù)中，此外，也有等文件格式因此格式轉(zhuǎn)換子系統(tǒng)主要功能就是將數(shù)據(jù)庫(kù)表中的數(shù)據(jù)轉(zhuǎn)換為格式，同時(shí)也能將一種數(shù)據(jù)庫(kù)格式轉(zhuǎn)換為其他數(shù)據(jù)庫(kù)格式。

數(shù)據(jù)格式轉(zhuǎn)換部分的架構(gòu)如圖5-20所示，由于涉及對(duì)各種數(shù)據(jù)庫(kù)的訪問，因此各種數(shù)據(jù)庫(kù)的驅(qū)動(dòng)程序應(yīng)該集中存放在一起，并建立起各種數(shù)據(jù)庫(kù)格式與驅(qū)動(dòng)程序的映射由此構(gòu)建數(shù)據(jù)庫(kù)連接的管理，和數(shù)據(jù)庫(kù)操作的管理通過獲取數(shù)據(jù)庫(kù)的架構(gòu)信息，完成對(duì)數(shù)據(jù)庫(kù)結(jié)構(gòu)的解析，實(shí)現(xiàn)數(shù)據(jù)庫(kù)在異構(gòu)數(shù)據(jù)源中的重建與數(shù)據(jù)記錄的轉(zhuǎn)存。

(2)預(yù)處理算法實(shí)現(xiàn)子系統(tǒng)。由于系統(tǒng)是文件驅(qū)動(dòng)的，算法的執(zhí)行必須有數(shù)據(jù)文件在沒有選擇輸入數(shù)據(jù)文件以前算法實(shí)現(xiàn)環(huán)境部分處于鎖定狀態(tài)，在輸入數(shù)據(jù)文件后系統(tǒng)的算法實(shí)現(xiàn)環(huán)境部分的窗口就被激活根據(jù)前面的分析，算法實(shí)現(xiàn)環(huán)境部分包含六個(gè)方面，分別是質(zhì)量檢查、數(shù)據(jù)清理、屬性變換、實(shí)例變換、屬性選擇和實(shí)例檢測(cè)。此外，算法實(shí)現(xiàn)環(huán)境部分還包括對(duì)數(shù)據(jù)文件的操作和瀏覽等部分，如圖5-21所示。

在進(jìn)入預(yù)處理算法實(shí)現(xiàn)環(huán)境子系統(tǒng)之后，系統(tǒng)會(huì)要求打開一個(gè)數(shù)據(jù)文件打開的數(shù)據(jù)文件將存放到數(shù)據(jù)中心，這是系統(tǒng)統(tǒng)一管理數(shù)據(jù)的地方與此同時(shí)，系統(tǒng)會(huì)掃描數(shù)據(jù)文件中的一些基本信息，包括屬性的數(shù)目、屬性的類型等，并將這些信息顯示到界面上打開文件后算法管理部分對(duì)各個(gè)算法進(jìn)行激活，使得算法標(biāo)簽?zāi)軌蚴褂盟惴ü芾聿糠謱⑺惴ㄘ?fù)責(zé)算法的分類與調(diào)用如在開啟算法界面的同時(shí)對(duì)算法需要的條件進(jìn)行選擇等算法管理部分起著對(duì)算法的調(diào)用的功能，算法在執(zhí)行完相應(yīng)的處理后會(huì)調(diào)用數(shù)據(jù)中心的相關(guān)功能實(shí)現(xiàn)對(duì)數(shù)據(jù)的修改和顯示系統(tǒng)將所有的數(shù)據(jù)預(yù)處理算法分成四個(gè)部分，每個(gè)部分都是獨(dú)立運(yùn)行的在進(jìn)行了一項(xiàng)數(shù)據(jù)預(yù)處理后可以接著對(duì)數(shù)據(jù)進(jìn)行下一項(xiàng)預(yù)處理每次處理后數(shù)據(jù)中心都會(huì)對(duì)數(shù)據(jù)進(jìn)行一次保存，用于操作的撤銷與重做。

(3)數(shù)據(jù)管理子系統(tǒng)。數(shù)據(jù)管理部分需要完成的基本功能有數(shù)據(jù)的獲取、數(shù)據(jù)查看、數(shù)據(jù)保存、數(shù)據(jù)歷史管理等。如圖5-22所示，數(shù)據(jù)管理部分提供兩個(gè)接口，一是數(shù)據(jù)管理部分從數(shù)據(jù)文件中讀取數(shù)據(jù);二是提供一個(gè)接口使得算法能夠方便的讀取到數(shù)據(jù)。此外，還要保證各種算法使用的數(shù)據(jù)的統(tǒng)一性。

數(shù)據(jù)查看提供一個(gè)隨時(shí)查看數(shù)據(jù)的一個(gè)界面，以表格的形式將數(shù)據(jù)展示給用戶同時(shí)在界面上提供一些基本的數(shù)據(jù)操作功能(數(shù)據(jù)實(shí)例或者屬性的插入刪除修改等)數(shù)據(jù)的保存將算法處理后的數(shù)據(jù)保存起來，包括用戶的保存和系統(tǒng)的自動(dòng)保存兩個(gè)方面，用戶可以在任何時(shí)候自行保存中間數(shù)據(jù)，系統(tǒng)在對(duì)數(shù)據(jù)執(zhí)行任何操作后都應(yīng)該能回退到操作以前的狀態(tài)，這需要保存功能和歷史管理兩部分的協(xié)同。

歷史管理部分需要對(duì)系統(tǒng)的操作進(jìn)行記錄，在執(zhí)行算法后需要記錄下這次操作，并使用數(shù)據(jù)保存部分的功能對(duì)原始數(shù)據(jù)進(jìn)行保存，對(duì)保存的數(shù)據(jù)和系統(tǒng)執(zhí)行的操作進(jìn)行關(guān)聯(lián)。

(4)數(shù)據(jù)質(zhì)量控制。數(shù)據(jù)的質(zhì)量關(guān)系到大數(shù)據(jù)的融合及相關(guān)關(guān)系分析的準(zhǔn)確性，其關(guān)鍵環(huán)節(jié)是不良數(shù)據(jù)檢測(cè)，即判斷量測(cè)采樣中是否存在不良數(shù)據(jù)。不良數(shù)據(jù)辨識(shí)是指在發(fā)現(xiàn)某次量測(cè)采樣中存在不良數(shù)據(jù)后，確定哪個(gè)(或哪些)量測(cè)是不良數(shù)據(jù)。如圖5-23所示，根據(jù)互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)大數(shù)據(jù)多源、多渠道的特點(diǎn)，基于不同來源的數(shù)據(jù)進(jìn)行互校核，實(shí)現(xiàn)不良數(shù)據(jù)的檢測(cè)與辨識(shí)，包括電度量和量測(cè)量的互校核、不同數(shù)據(jù)系統(tǒng)間的互校核方法、不同結(jié)構(gòu)數(shù)據(jù)的互校核等。

1)基于電度量與量測(cè)量互校核的不良數(shù)據(jù)檢測(cè)方法。按獲得方式分，用電相關(guān)多源數(shù)據(jù)可劃分為電度量與量測(cè)數(shù)據(jù)，可采用電度量與量測(cè)量互校核辨識(shí)不良數(shù)據(jù)。

如實(shí)際計(jì)算中，可用同一節(jié)點(diǎn)下電度量和有功量測(cè)進(jìn)行互校核

(5-6)

式中:為I時(shí)刻該節(jié)點(diǎn)的有功電度量;PI-1、P1為I-1、I時(shí)刻該節(jié)點(diǎn)的有功功率;δ為準(zhǔn)確系數(shù),由實(shí)際量測(cè)系統(tǒng)準(zhǔn)確度決定。

2)基于不同系統(tǒng)間數(shù)據(jù)互校核的不良數(shù)據(jù)撿測(cè)方法。互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)相關(guān)多源數(shù)據(jù)按獲得來源分，可分為來自不同系統(tǒng)的數(shù)據(jù)，來自不同系統(tǒng)間的數(shù)據(jù)可以進(jìn)行互校核。如可結(jié)合配電網(wǎng)管理信息系統(tǒng)、生產(chǎn)管理系統(tǒng)的信息以及低壓臺(tái)區(qū)互聯(lián)信息，確定配變用電類型，按照不同行業(yè)需量系數(shù)和典型日負(fù)荷曲線可擬合出該配變負(fù)荷曲線。

3)基于不同結(jié)構(gòu)數(shù)據(jù)互校核的不良數(shù)據(jù)檢測(cè)方法。互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)相關(guān)多源數(shù)據(jù)中含有結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)，但是不同類型的數(shù)據(jù)可能包含相同的信息量，如某一線路的長(zhǎng)度可由地理信息系統(tǒng)中的非結(jié)構(gòu)化圖形數(shù)據(jù)獲得，也可從生產(chǎn)管理系統(tǒng)中的結(jié)構(gòu)化數(shù)據(jù)獲得，通過不同類型的數(shù)據(jù)進(jìn)行互校核，可實(shí)現(xiàn)不良數(shù)據(jù)的辨識(shí)互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)相關(guān)多源數(shù)據(jù)中不同的數(shù)據(jù)源為智能用電研究對(duì)象提供了多角度、多時(shí)間、多維度的數(shù)據(jù)描述，為了通過大數(shù)據(jù)分析充分挖掘有用信息，需要建立數(shù)據(jù)之間的關(guān)聯(lián)數(shù)學(xué)模型。