0 引言

當(dāng)今社會(huì)中,隨著傳感器技術(shù)、實(shí)時(shí)監(jiān)測(cè)與數(shù)據(jù)存儲(chǔ)技術(shù)的飛速發(fā)展,電力數(shù)據(jù)量和復(fù)雜度也呈指數(shù)增長(zhǎng),這一現(xiàn)象在用戶(hù)側(cè)尤為突出。如何發(fā)掘用戶(hù)側(cè)海量數(shù)據(jù)的價(jià)值,對(duì)大量數(shù)據(jù)進(jìn)行高效合理的應(yīng)用成為當(dāng)今智能電網(wǎng)時(shí)代下亟待解決的問(wèn)題^[1]。

負(fù)荷預(yù)測(cè)基于電力負(fù)荷歷史數(shù)據(jù),旨在通過(guò)研究負(fù)荷數(shù)據(jù)自身的相關(guān)性及變化情況,社會(huì)條件以及其他自然情況（如溫度）之間的內(nèi)在聯(lián)系,探索出負(fù)荷的發(fā)展規(guī)律,從而對(duì)未來(lái)某一時(shí)間段的負(fù)荷數(shù)據(jù)進(jìn)行預(yù)測(cè)的方法。電力系統(tǒng)由電網(wǎng)和電力用戶(hù)組成,電網(wǎng)的作用即為各類(lèi)用戶(hù)提供滿(mǎn)足要求的電能,由于電能的不可儲(chǔ)存性,如何合理地實(shí)現(xiàn)供電負(fù)荷分配,進(jìn)而保證穩(wěn)定性和經(jīng)濟(jì)性成為電網(wǎng)部門(mén)面臨的重要問(wèn)題。負(fù)荷預(yù)測(cè)在解決上述問(wèn)題的過(guò)程中扮演了重要角色,英國(guó)的研究結(jié)果表明,短期負(fù)荷預(yù)測(cè)的誤差每增加1%將導(dǎo)致每年運(yùn)行成本增加約1 770萬(wàn)英鎊。在挪威,每增加1%的短期負(fù)荷預(yù)測(cè)誤差將導(dǎo)致455萬(wàn)~910萬(wàn)歐元的附加運(yùn)行成本^[2];對(duì)于電網(wǎng)而言,準(zhǔn)確地負(fù)荷預(yù)測(cè)可對(duì)發(fā)電廠(chǎng)的出力要求提出預(yù)告,合理地安排本網(wǎng)內(nèi)各發(fā)電機(jī)組的啟停,使系統(tǒng)始終運(yùn)行在要求的安全范圍內(nèi)。

根據(jù)預(yù)測(cè)結(jié)果分類(lèi),負(fù)荷預(yù)測(cè)可分為短期負(fù)荷預(yù)測(cè)和中長(zhǎng)期負(fù)荷預(yù)測(cè)。對(duì)于短期負(fù)荷預(yù)測(cè),國(guó)內(nèi)外研究方法主要可以概括為以下2類(lèi)：一類(lèi)是以時(shí)間序列法為代表的傳統(tǒng)方法;另一類(lèi)是以人工神經(jīng)網(wǎng)絡(luò)法為代表的新型人工智能方法。前者主要有時(shí)間序列法、多元線(xiàn)性回歸法及傅立葉展開(kāi)法等^[3],這些方法多以純數(shù)學(xué)理論為根基,難以適應(yīng)日新月異的電網(wǎng)發(fā)展和用戶(hù)側(cè)日益提高的需求而被逐漸淘汰。而在新型人工智能方法中,運(yùn)用最為典型的是神經(jīng)網(wǎng)絡(luò)法。文獻(xiàn)[2,4]運(yùn)用了神經(jīng)網(wǎng)絡(luò)中最為普遍的BP神經(jīng)網(wǎng)絡(luò),采用Levenberg-Marquardt算法進(jìn)行訓(xùn)練,該方法預(yù)測(cè)效果受到BP網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、學(xué)習(xí)能力較差的限制,達(dá)不到很高的精度。隨著研究的進(jìn)展,單一的神經(jīng)網(wǎng)絡(luò)方法逐漸顯露出了它的局限性,將神經(jīng)網(wǎng)絡(luò)與其他算法相結(jié)合的思想為越來(lái)越多的研究人員所采用。文獻(xiàn)[5]提出了一種基于粒子群算法的神經(jīng)網(wǎng)絡(luò)方法進(jìn)行短期負(fù)荷預(yù)測(cè),通過(guò)粒子群算法優(yōu)化網(wǎng)絡(luò)初始值以及每個(gè)階段網(wǎng)絡(luò)的參數(shù)。除了代表性的神經(jīng)網(wǎng)絡(luò)算法以外,信息時(shí)代的發(fā)展也使得負(fù)荷預(yù)測(cè)的方法越來(lái)越多元化,文獻(xiàn)[6]提出了基于小波聚類(lèi)的方法對(duì)配變負(fù)荷進(jìn)行預(yù)測(cè)研究;文獻(xiàn)[7]采用了隨機(jī)森林算法進(jìn)行負(fù)荷預(yù)測(cè)。

短期負(fù)荷主要用于預(yù)測(cè)未來(lái)幾天的負(fù)荷數(shù)據(jù)。而對(duì)于日負(fù)荷數(shù)據(jù)而言,具有很強(qiáng)的周期性,具體體現(xiàn)在以下幾點(diǎn)^[3]：不同日的日負(fù)荷曲線(xiàn)其整體規(guī)律相似;同一星期類(lèi)型日負(fù)荷規(guī)律相似;工作日、休息日負(fù)荷規(guī)律各自相似;不同年度法定節(jié)假日的規(guī)律相似。

針對(duì)日負(fù)荷數(shù)據(jù)周期性很強(qiáng)這一特點(diǎn),本文提出了一種基于LSTM神經(jīng)網(wǎng)絡(luò)的負(fù)荷預(yù)測(cè)方法。LSTM神經(jīng)網(wǎng)絡(luò)是基于循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks,RNN）改進(jìn)的一種人工智能算法,對(duì)于處理時(shí)間序列相關(guān)的數(shù)據(jù)有很好的效果。而后以負(fù)荷數(shù)據(jù)自身為訓(xùn)練數(shù)據(jù)和輸出標(biāo)簽,通過(guò)迭代訓(xùn)練的方法建立負(fù)荷預(yù)測(cè)模型,該方法可充分利用負(fù)荷數(shù)據(jù)之間的相關(guān)性,從而提高負(fù)荷預(yù)測(cè)的精度,同時(shí)降低所需歷史數(shù)據(jù)的維度大小。最后通過(guò)實(shí)際數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn),并與傳統(tǒng)的負(fù)荷預(yù)測(cè)方法進(jìn)行對(duì)比,證明該方法具有更高的精確度和更快的收斂速度。

 1 基于LSTM神經(jīng)網(wǎng)絡(luò)的模型建立

1.1 LSTM神經(jīng)網(wǎng)絡(luò)原理

LSTM神經(jīng)網(wǎng)絡(luò)最早由Hochreiter等提出^[8],并由Graves進(jìn)行改進(jìn)^[9],是基于RNN的一種完善,解決RNN 中易出現(xiàn)的梯度消亡問(wèn)題。

RNN相比于與普通的神經(jīng)網(wǎng)絡(luò),最大的區(qū)別就是各個(gè)隱藏層單元并不是相互獨(dú)立的,各個(gè)隱藏層之間不僅相互聯(lián)系,還與此隱藏層單元所接受時(shí)刻之前的時(shí)序輸入有關(guān),這個(gè)特性對(duì)于處理與時(shí)序相關(guān)的數(shù)據(jù)有極大的幫助。單個(gè)RNN隱藏層單元展開(kāi)圖如圖1所示。

圖1 單個(gè)RNN隱藏層單元展開(kāi)圖Fig.1 Unfolding of single RNN hidden layer unit

如圖所示,U,V,W分別為輸入到隱含層、隱含層到隱含層、隱含層到輸出的權(quán)重,x為神經(jīng)網(wǎng)絡(luò)的輸入,O為神經(jīng)網(wǎng)絡(luò)的輸出,S為隱含層當(dāng)前的時(shí)刻狀態(tài)。在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中,每一個(gè)網(wǎng)絡(luò)層的參數(shù)是不共享的。而在RNN中,每輸入一步,每一層都各自共享參數(shù)U,V,W。這反映出RNN中的每一步都在做相同的事情,只是輸入不同,這樣的訓(xùn)練方式大大降低了網(wǎng)絡(luò)中需要學(xué)習(xí)的參數(shù),在保證精度的前提下極大地縮短了訓(xùn)練時(shí)間。

但RNN存在這樣一個(gè)問(wèn)題^[8]：對(duì)于標(biāo)準(zhǔn)的RNN架構(gòu)來(lái)說(shuō),在實(shí)踐中可聯(lián)系的“上下文”十分有限,較遠(yuǎn)時(shí)刻的“記憶”對(duì)于輸出的影響要么衰減的很小,要么呈指數(shù)爆炸增長(zhǎng),這個(gè)問(wèn)題通常被稱(chēng)為“梯度消亡問(wèn)題”。

圖2 LSTM單元結(jié)構(gòu)Fig.2 Structure of LSTM unit

而LSTM則是一種用于解決梯度消亡現(xiàn)象的改進(jìn)型RNN。LSTM單元結(jié)構(gòu)^[9]如圖2所示。1個(gè)LSTM單元中存在1個(gè)或多個(gè)細(xì)胞核（Cell）,用于描述LSTM單元的當(dāng)前狀態(tài),圖1中存在3個(gè)控制門(mén),分別是Input Gate,Output Gate和Forget Gate,3個(gè)門(mén)的輸出分別連接到1個(gè)乘法單元上,從而分別控制網(wǎng)絡(luò)的輸入、輸出以及Cell單元的狀態(tài),處理完第一時(shí)刻輸入O₁后,只要保持Input Gate處于關(guān)閉狀態(tài)（相當(dāng)于乘法系數(shù)是0）,Forget Gate處于打開(kāi)狀態(tài)（相當(dāng)于乘法系數(shù)是1）,網(wǎng)絡(luò)的輸出就持續(xù)受到O₁的影響。

1.2 基于LSTM網(wǎng)絡(luò)的負(fù)荷預(yù)測(cè)模型建立

1.2.1 輸入數(shù)據(jù)的預(yù)處理

由于在數(shù)據(jù)采集過(guò)程中,存在人為操作不當(dāng)、設(shè)備老化等情況的影響,造成壞數(shù)據(jù)的產(chǎn)生,極大地影響預(yù)測(cè)模型的準(zhǔn)確度,因此在輸入訓(xùn)練數(shù)據(jù)前需要對(duì)樣本中的壞數(shù)據(jù)進(jìn)行識(shí)別與處理。

本文基于負(fù)荷數(shù)據(jù)的周期性,假定短時(shí)間內(nèi)數(shù)據(jù)橫向相似,即不會(huì)有突變,采用橫向比較法進(jìn)行壞數(shù)據(jù)的識(shí)別處理^[10],利用樣本統(tǒng)計(jì)指標(biāo)與設(shè)定閾值判斷是否有非正常數(shù)據(jù),因傳感器采樣頻率為每30 min一個(gè)點(diǎn),故所采集的數(shù)據(jù)為n天48個(gè)單位的矩陣,處理具體步驟如下：

1）首先基于式（1）、（2）計(jì)算序列的均值與方差。

 （2）

2）再通過(guò)式（3）進(jìn)行3σ原理的非正常數(shù)判斷,其中ε為閾值,通常取1~1.5。

 （4）

其中  為X_n,i附近2個(gè)橫向負(fù)荷點(diǎn),  （5）

經(jīng)過(guò)歸一化之后變?yōu)榫仃嚕?/span>

這里  為變量的極差,經(jīng)過(guò)式（6）變換后,所得負(fù)荷數(shù)據(jù)值均在0~1之間,完成了歸一化。

1.2.2 輸入輸出量的選擇

在對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理之后,如何選擇合適的輸入量及標(biāo)簽來(lái)使用神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,是建立負(fù)荷預(yù)測(cè)模型中最為關(guān)鍵的一步。

本文主要是預(yù)測(cè)未來(lái)某幾天24 h的負(fù)荷值,圖3為一年中隨機(jī)抽取某2周的負(fù)荷數(shù)據(jù)隨時(shí)間變化的曲線(xiàn),橫軸為時(shí)間,每24 h為一天,縱軸為負(fù)荷數(shù)據(jù)。

圖3 某2周負(fù)荷數(shù)據(jù)隨時(shí)間變化曲線(xiàn)Fig.3 Curves of load data variation with time in a given two week period

由3圖對(duì)比可以看出,負(fù)荷數(shù)據(jù)按工作日和休息日每周呈周期性變化,周末時(shí)用電負(fù)荷與工作日相比有所下降,為了更好地利用這一特性,本文采用迭代預(yù)測(cè)的方式,如要預(yù)測(cè)12月28號(hào)的24 h負(fù)荷值,以11月1~7號(hào)的歷史負(fù)荷數(shù)據(jù)作為輸入,11月8號(hào)的歷史負(fù)荷數(shù)據(jù)作為標(biāo)簽輸出進(jìn)行第一次訓(xùn)練,而后以11月2~8號(hào)的歷史負(fù)荷數(shù)據(jù)作為輸入,9號(hào)的歷史負(fù)荷數(shù)據(jù)作為標(biāo)簽輸出進(jìn)行第二次訓(xùn)練,以此種方式進(jìn)行迭代預(yù)測(cè)直到得到12月28號(hào)的負(fù)荷預(yù)測(cè)值,同時(shí),本文將歷史數(shù)據(jù)采用one-hot編碼后再作為訓(xùn)練樣本^[11],可更好地利用歷史負(fù)荷數(shù)據(jù)的周期性規(guī)律。

在時(shí)間序列模型階數(shù)的選擇上,本文采用了如下方法^[11],電力負(fù)荷屬于隨機(jī)過(guò)程,在隨機(jī)過(guò)程研究中,自相關(guān)系數(shù)能夠顯示隨機(jī)過(guò)程是否平穩(wěn)以及選擇合適的模型階數(shù)^[12],訓(xùn)練數(shù)據(jù)的自相關(guān)系數(shù)如圖4所示,由圖峰值可取階數(shù)為7,即用前7天的歷史負(fù)荷數(shù)據(jù)作為特征向量滾動(dòng)預(yù)測(cè)。通過(guò)僅使用單維度數(shù)據(jù)建立模型的方法,證明該模型具有更強(qiáng)的適用性。

圖4 訓(xùn)練數(shù)據(jù)的自相關(guān)系數(shù)Fig.4 Autocorrelation coefficients of training data

1.2.3 LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的確定

確定了輸入輸出量之后,下一步關(guān)鍵工作是確定一個(gè)合適的網(wǎng)絡(luò)結(jié)構(gòu),網(wǎng)絡(luò)結(jié)構(gòu)中,最核心的步驟是先確定輸入輸出節(jié)點(diǎn)個(gè)數(shù)。

1）多模型單變量預(yù)測(cè)：使用24個(gè)不同的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型分別對(duì)應(yīng)一天中的24 h,此種方法優(yōu)點(diǎn)是單個(gè)網(wǎng)絡(luò)結(jié)構(gòu)較為小、參數(shù)易收斂;缺點(diǎn)是過(guò)程冗雜,同時(shí)單個(gè)網(wǎng)絡(luò)易過(guò)擬合,多變量單模型示意如圖5所示,若需要預(yù)測(cè)一天負(fù)荷值,則需要搭建24個(gè)這樣的模型。

圖5 多模型單變量示意Fig.5 Multi-model and single variable

2）單模型多變量預(yù)測(cè)：用24個(gè)輸出節(jié)點(diǎn)代表一天的24 h,同時(shí)預(yù)測(cè)一天各小時(shí)的負(fù)荷數(shù),在傳統(tǒng)方法中若采用此種結(jié)構(gòu)的網(wǎng)絡(luò),網(wǎng)絡(luò)的結(jié)構(gòu)將會(huì)極為復(fù)雜,會(huì)有上千個(gè)參數(shù)需要訓(xùn)練更新,極大地影響網(wǎng)絡(luò)的運(yùn)算速度和預(yù)測(cè)精度。單變量多模型示意如圖7所示。

圖6 單模型多變量示意Fig.6 Single model and multiple variables diagram

本文采用多變量單模型方法構(gòu)建網(wǎng)絡(luò),本文引言中有提到。由于LSTM網(wǎng)絡(luò)權(quán)重共享方式上與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的不同,當(dāng)采用24個(gè)輸出節(jié)點(diǎn)時(shí),LSTM所需要學(xué)習(xí)的參數(shù)相比于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)大為減少,極