0 引言

電力設(shè)備在線監(jiān)測(cè)系統(tǒng)能夠?qū)υO(shè)備運(yùn)行狀況進(jìn)行連續(xù)或周期性的自動(dòng)監(jiān)視和檢測(cè)。隨著智能電網(wǎng)建設(shè)的進(jìn)步,電力設(shè)備在線監(jiān)測(cè)取得了很大發(fā)展,監(jiān)測(cè)數(shù)據(jù)的規(guī)模也變得日益龐大,逐漸形成電力設(shè)備監(jiān)測(cè)大數(shù)據(jù)^[1],這給在線監(jiān)測(cè)系統(tǒng)在數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理方面帶來了新的技術(shù)挑戰(zhàn),主要體現(xiàn)在以下幾個(gè)方面。

1）數(shù)據(jù)體量巨大。電力設(shè)備監(jiān)測(cè)大數(shù)據(jù)正從TB級(jí)向PB級(jí)別躍遷,造成數(shù)據(jù)體量巨大的主要原因是監(jiān)測(cè)的廣度大、監(jiān)測(cè)點(diǎn)數(shù)量多以及數(shù)據(jù)采樣率高。另外,電力設(shè)備監(jiān)測(cè)的深度也不斷提升,監(jiān)測(cè)類型逐漸多樣,包括變壓器局部放電、油色譜、線路覆冰監(jiān)測(cè)、絕緣子泄漏電流、電站視頻監(jiān)測(cè)等,進(jìn)一步導(dǎo)致了監(jiān)測(cè)數(shù)據(jù)的體量非常巨大。

2）數(shù)據(jù)種類繁多。需要存儲(chǔ)和處理的數(shù)據(jù)既包括結(jié)構(gòu)化的采樣數(shù)據(jù)和靜態(tài)關(guān)聯(lián)數(shù)據(jù),又包括非結(jié)構(gòu)化的采集數(shù)據(jù),如音視頻數(shù)據(jù)等;另外還有用XML、JSON等格式承載的半結(jié)構(gòu)化數(shù)據(jù),這給存儲(chǔ)系統(tǒng)帶來很大的技術(shù)挑戰(zhàn)。

3）要求快速完成數(shù)據(jù)分析。在完成監(jiān)測(cè)數(shù)據(jù)采集后,需要一個(gè)大數(shù)據(jù)處理平臺(tái)來完成包括數(shù)據(jù)清洗、格式轉(zhuǎn)換、數(shù)據(jù)去噪、特征計(jì)算等一系列批量計(jì)算任務(wù),這些任務(wù)通常是自動(dòng)定時(shí)觸發(fā)的,必須在規(guī)定的時(shí)間內(nèi)完成分析任務(wù),否則會(huì)影響后續(xù)的數(shù)據(jù)分析過程。

4）平臺(tái)的選擇。大數(shù)據(jù)平臺(tái)應(yīng)能有效支持多種大數(shù)據(jù)計(jì)算場(chǎng)景,包括批量計(jì)算、在線計(jì)算和流式計(jì)算,且應(yīng)能支持高效的數(shù)據(jù)交互和廣泛、多源的數(shù)據(jù)集成方案。

目前,電網(wǎng)公司監(jiān)測(cè)系統(tǒng)過于依賴集中式存儲(chǔ)區(qū)域網(wǎng)絡(luò)（Storage Area Network,SAN）存儲(chǔ),并基于SOA進(jìn)行數(shù)據(jù)集成。存儲(chǔ)軟件主要采用企業(yè)級(jí)關(guān)系型數(shù)據(jù)庫(kù),在存儲(chǔ)容量、擴(kuò)展性以及訪問速度方面均無法滿足電力設(shè)備監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理的需求。另一方面,關(guān)系型數(shù)據(jù)庫(kù)所擅長(zhǎng)的關(guān)聯(lián)查詢、主外鍵約束、事務(wù)處理等特性在進(jìn)行大數(shù)據(jù)分析時(shí)又無用武之地,這就迫切需要新的大數(shù)據(jù)存儲(chǔ)和處理技術(shù)以及新的平臺(tái)來應(yīng)對(duì)。

針對(duì)上述問題和挑戰(zhàn),本文采用全新的MaxCompute大數(shù)據(jù)處理技術(shù),在阿里云云計(jì)算平臺(tái)上進(jìn)行數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理,以大規(guī)模的變壓器局部放電數(shù)據(jù)為例,設(shè)計(jì)數(shù)據(jù)存儲(chǔ)方法和快速的并行分析方法。

 1 電力系統(tǒng)中的批量計(jì)算

MaxCompute是阿里云提供的海量數(shù)據(jù)處理平臺(tái),支持批量結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和計(jì)算,數(shù)據(jù)規(guī)模可達(dá)EB級(jí)別。MaxCompute目前已在電子商務(wù)網(wǎng)站的交易分析、企業(yè)數(shù)據(jù)倉(cāng)庫(kù)和BI分析等領(lǐng)域得到廣泛應(yīng)用。MaxCompute提供了數(shù)據(jù)上傳下載通道（Tunnel）,以及SQL、MapReduce、Graph等多種計(jì)算服務(wù)接口。MaxCompute功能組件如圖1所示。

批量計(jì)算是指對(duì)歷史數(shù)據(jù)進(jìn)行周期性的、用戶發(fā)起或者定時(shí)觸發(fā)的計(jì)算。批量計(jì)算每次處理的數(shù)據(jù)量通常較大,并追求高吞吐量,對(duì)交互性、實(shí)時(shí)性要求較低。批量計(jì)算模型如圖2所示。

圖1 MaxCompute功能組件Fig.1 MaxCompute functional components

圖2 批量計(jì)算模型Fig.2 Batch calculation model

目前典型的批量計(jì)算工具有Hadoop Map Reduce、Spark、阿里云MaxCompute等。批量計(jì)算在電力系統(tǒng)中的應(yīng)用需求非常大,應(yīng)用最多的計(jì)算工具是Hadoop。文獻(xiàn)[2]應(yīng)用Hadoop設(shè)計(jì)實(shí)現(xiàn)了一種層次化的電壓暫降并行計(jì)算方法,提高了海量電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)的計(jì)算效率。文獻(xiàn)[3]應(yīng)用Hadoop設(shè)計(jì)實(shí)現(xiàn)了變斷面量測(cè)數(shù)據(jù)的快速無損數(shù)據(jù)壓縮。文獻(xiàn)[4-5]應(yīng)用Hadoop設(shè)計(jì)實(shí)現(xiàn)了并行化的極限學(xué)習(xí)機(jī),并實(shí)現(xiàn)了短期電力負(fù)荷預(yù)測(cè)。文獻(xiàn)[6]應(yīng)用Hadoop實(shí)現(xiàn)了并行化的數(shù)據(jù)分析和負(fù)荷預(yù)測(cè)。文獻(xiàn)[7-8]應(yīng)用Hadoop實(shí)現(xiàn)了海量電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)的并行化查詢。文獻(xiàn)[9]基于并行化的貝葉斯分類器,實(shí)現(xiàn)了變壓器的故障診斷,使診斷速度有了很大的提升。

 2 使用MaxCompute實(shí)現(xiàn)電力設(shè)備監(jiān)測(cè)數(shù)據(jù)的高效存儲(chǔ)

2.1 監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)模式設(shè)計(jì)

監(jiān)測(cè)數(shù)據(jù)的原始值往往是二進(jìn)制的采樣數(shù)據(jù),以dat文件形式存在^[10-11],MaxCompute存儲(chǔ)數(shù)據(jù)的基本單元是表（table）。為了完成數(shù)據(jù)分析,需要首先將監(jiān)測(cè)數(shù)據(jù)上傳至MaxCompute。由于MaxCompute無法支持二進(jìn)制數(shù)據(jù)的自動(dòng)解析,上傳之前需要先將其轉(zhuǎn)換成文本文件格式,如csv文件,再使用Tunnel工具進(jìn)行數(shù)據(jù)上傳。

如果使用普通文本文件存儲(chǔ)監(jiān)測(cè)數(shù)據(jù),則每行可以存儲(chǔ)一個(gè)完整采樣周期的數(shù)據(jù)^[12],例如一行文本可以存儲(chǔ)10萬個(gè)采樣點(diǎn)的數(shù)據(jù)。該文本可在HDFS上被MapReduce分析任務(wù)直接處理。但MaxCompute對(duì)表的列數(shù)和表格單元的數(shù)據(jù)類型有限制,表格單元目前支持的數(shù)據(jù)類型無法在一行內(nèi)存儲(chǔ)數(shù)萬個(gè)采樣值,這需要重新設(shè)計(jì)表結(jié)構(gòu)。

本文進(jìn)行了橫縱轉(zhuǎn)換設(shè)計(jì),將常見的“橫表”改為“縱表”,用于存儲(chǔ)原始采樣數(shù)據(jù)。由于MaxCompute不支持索引,為了最大程度提升數(shù)據(jù)分析性能,在存儲(chǔ)設(shè)計(jì)方面還使用了多級(jí)分區(qū)技術(shù)。使用二級(jí)分區(qū)的監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)模式如圖3所示。

圖3 使用二級(jí)分區(qū)的監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)模式Fig.3 The monitoring big data storage mode using secondary partition

電力設(shè)備監(jiān)測(cè)數(shù)據(jù)的兩個(gè)最基本屬性是設(shè)備編號(hào)和數(shù)據(jù)采集時(shí)間。為了提升查詢和數(shù)據(jù)分析的性能,使用設(shè)備ID作為一級(jí)分區(qū),采集日期作為二級(jí)分區(qū),從而可以有效減少數(shù)據(jù)查詢的范圍,提升訪問性能。

2.2創(chuàng)建MaxCompute項(xiàng)目

項(xiàng)目是MaxCompute的基本組織單元,通常一類特定的數(shù)據(jù)分析任務(wù)需創(chuàng)建一個(gè)項(xiàng)目,并將相關(guān)的數(shù)據(jù)表和資源都放入到該項(xiàng)目中^[13]。為了完成項(xiàng)目創(chuàng)建,需要首先使用已有的阿里云賬號(hào)登錄阿里云管理控制臺(tái),進(jìn)入MaxCompute管理控制臺(tái),創(chuàng)建一個(gè)新的MaxCompute項(xiàng)目。阿里云管理控制臺(tái)如圖4所示。

圖4 阿里云管理控制臺(tái)Fig.4 Ali cloud management console

圖5 創(chuàng)建項(xiàng)目選項(xiàng)Fig.5 Project creating options

如果不是長(zhǎng)期運(yùn)行計(jì)算任務(wù),可以選擇“I/O后付費(fèi)”,填入項(xiàng)目名稱和項(xiàng)目描述,創(chuàng)建項(xiàng)目。創(chuàng)建項(xiàng)目選項(xiàng)如圖5所示。

2.3 創(chuàng)建分區(qū)表并添加分區(qū)

2.3.1 配置客戶端

為了創(chuàng)建所設(shè)計(jì)的分區(qū)表并實(shí)現(xiàn)數(shù)據(jù)上傳,需要首先安裝并配置ODPS cmd客戶端工具。這需要在本地準(zhǔn)備好JRE 1.6+版本環(huán)境,并從阿里云官網(wǎng)下載ODPS cmd工具,并配置<ODPS_CLIENT>/conf/odps_config.ini文件,具體如下：

project_name=[project_name]

access_id=***

access_key=***

end_point=http://service.odps.aliyun.com/api

tunnel_endpoint=http://dt.odps.aliyun.com

log_view_host=http://logview.odps.aliyun.comhttps_check=true

access_id和access_key可從阿里云管理控制臺(tái)獲取,project_name配置為創(chuàng)建好的MaxCompute項(xiàng)目即可。配置完成后,運(yùn)行<ODPS_CLIENT>/bin/odpscmd,進(jìn)入交互模式,會(huì)出現(xiàn)項(xiàng)目名稱作為提示符。ODPS cmd控制臺(tái)如圖6所示。

圖6 ODPS cmd控制臺(tái)Fig.6 The ODPS cmd console

ODPS cmd控制臺(tái)運(yùn)行成功后即可執(zhí)行創(chuàng)建分區(qū)表操作,本文使用SQL DDL語句進(jìn)行創(chuàng)建數(shù)據(jù)分區(qū)表、添加分區(qū)的操作,以變壓器的局部放電數(shù)據(jù)為例來介紹數(shù)據(jù)存儲(chǔ)的方法和宏觀統(tǒng)計(jì)特征的計(jì)算方法。

2.3.2 創(chuàng)建數(shù)據(jù)表并添加分區(qū)

在ODPS cmd中,執(zhí)行SQL語句建表,并添加分區(qū),用于存儲(chǔ)監(jiān)測(cè)數(shù)據(jù)和中間結(jié)果數(shù)據(jù),具體如下：

create table if not exists ODS_MData(

Time string, ---’采集時(shí)間’

Phase bigint, ---’相位’

Value bigint, ---’采樣值’

partitioned by (DeviceID string, Date string);

alter table ODS_MData add if not exists partition (DeviceID=‘001’, Date=‘20170625’);

使用相同的SQL語法,依次創(chuàng)建基本參數(shù)表DW_NQF和放電譜圖表DW_PT,數(shù)據(jù)表字段描述見表1所列。

表1 數(shù)據(jù)表字段描述Tab.1 Data table field description

2.4 使用Tunnel進(jìn)行數(shù)據(jù)上傳

在ODPS cmd中運(yùn)行tunnel命令,將監(jiān)測(cè)數(shù)據(jù)文件上傳至MaxCompute表,具體命令如下：

tunnel upload d:/Clouder/jfdata/jf.csv ODS_MData/deviceid =’001’, Date=‘20170625’ ;

命令中的路徑在執(zhí)行時(shí)需根據(jù)實(shí)際路徑進(jìn)行修改。使用Tunnel進(jìn)行數(shù)據(jù)上傳如圖7所示。

圖7 使用Tunnel進(jìn)行數(shù)據(jù)上傳Fig.7 Using Tunnel for data upload

在上傳完成之后,可以使用read或者select命令驗(yàn)證數(shù)據(jù)是否已經(jīng)存在。

 3 使用MapReduce實(shí)現(xiàn)監(jiān)測(cè)數(shù)據(jù)特征計(jì)算

3.1 監(jiān)測(cè)數(shù)據(jù)特征計(jì)算的總體流程

為了實(shí)現(xiàn)對(duì)監(jiān)測(cè)數(shù)據(jù)的統(tǒng)計(jì)特征計(jì)算,需要使用2個(gè)MapReduce任務(wù)來完成計(jì)算,并將計(jì)算任務(wù)串聯(lián)起來。為了完成任務(wù)串聯(lián)和任務(wù)調(diào)度的周期執(zhí)行,本文使用阿里云數(shù)加平臺(tái)的大數(shù)據(jù)開發(fā)套件來設(shè)計(jì)實(shí)現(xiàn)計(jì)算任務(wù)的工作流,并配置任務(wù)調(diào)度策略。特征計(jì)算的工作流和調(diào)度配置界面如圖8所示。

圖8 特征計(jì)算的工作流和調(diào)度配置界面Fig.8 Feature computing work flow and scheduling configuration interface

在工作流中,Data_synchronization節(jié)點(diǎn)用于執(zhí)行數(shù)據(jù)同步任務(wù),DW_NQF節(jié)點(diǎn)用于完成基本參數(shù)的計(jì)算,DW_PT節(jié)點(diǎn)用于計(jì)算譜圖特征。在調(diào)度策略配置上,設(shè)置為每天0點(diǎn)執(zhí)行一次任務(wù)調(diào)度。DW_NQF節(jié)點(diǎn)和DW_PT節(jié)點(diǎn)都是MapReduce程序,需要首先在本地進(jìn)行程序開發(fā)和測(cè)試,成功后才能上傳至云平臺(tái)執(zhí)行。

3.2 本地開發(fā)環(huán)境準(zhǔn)備

本文使用Eclipse作為開發(fā)環(huán)境,并需要使用ODPS for Eclipse開發(fā)插件。啟動(dòng)Eclipse,檢查Wizard選項(xiàng)中是否有ODPS的目錄。當(dāng)可以創(chuàng)建ODPS類型的項(xiàng)目時(shí),表明本地開發(fā)環(huán)境已準(zhǔn)備好。

3.3 MapReduce程序開發(fā)

3.3.1 基本參數(shù)的計(jì)算

本文設(shè)計(jì)了MapReduce程序?qū)崿F(xiàn)基