2.2 電力大數(shù)據(jù)技術(shù)體系

前面所述的國(guó)內(nèi)外各個(gè)廠商均在大數(shù)據(jù)技術(shù)的發(fā)展過程中做出了突出的貢獻(xiàn)。其中，涉及大數(shù)據(jù)存儲(chǔ)、計(jì)算的具體技術(shù)，諸如 NoSQL數(shù)據(jù)庫技術(shù)、HDFS 分布式文件存儲(chǔ)系統(tǒng)、MapReduce分布式計(jì)算技術(shù)等，這些技術(shù)將成為大數(shù)據(jù)技術(shù)在電力領(lǐng)域中應(yīng)用的典型技術(shù)基礎(chǔ)。涉及大數(shù)據(jù)分析平臺(tái)開發(fā)技術(shù)的，諸如 Hadoop 平臺(tái)、HANA平臺(tái)等的架構(gòu)，將是開發(fā)適用于電網(wǎng)公司大數(shù)據(jù)分析處理平臺(tái)的藍(lán)本。而大數(shù)據(jù)技術(shù)在工商業(yè)領(lǐng)域應(yīng)用的案例，如中國(guó)移動(dòng)公司投訴智能識(shí)別系統(tǒng)、百度疾病預(yù)測(cè)、阿里巴巴淘寶客戶行為分析平臺(tái)等的應(yīng)用,將為電力領(lǐng)域高級(jí)應(yīng)用的開發(fā)提供寶貴經(jīng)驗(yàn)。因此，電網(wǎng)公司大數(shù)據(jù)技術(shù)的架構(gòu)將依托這些國(guó)內(nèi)外廠商的技術(shù)集合開發(fā)而成。

2.2.1電力大數(shù)據(jù)技術(shù)架構(gòu)

電力大數(shù)據(jù)技術(shù)架構(gòu)不是面向具體功能的，而是面向全部需求的需求（元需求），關(guān)注設(shè)計(jì)的設(shè)汁（元設(shè)計(jì)）. 解決開發(fā)之共性，簡(jiǎn)化開發(fā)之過程，提供應(yīng)用之舞臺(tái)，可謂應(yīng)用之母。架構(gòu)是體系化的，完備的。能夠滿足一類軟件全部元需求的運(yùn)行平臺(tái)和構(gòu)建平臺(tái)，具體功能運(yùn)行于其上，可以做到一通百通。大數(shù)據(jù)技術(shù)通過近些年在各行各業(yè)的普及和發(fā)展，逐漸形成了各具特色的技術(shù)架構(gòu)。例如，Oracle 的大數(shù)據(jù)一體用的是以 Hadoop分布式數(shù)據(jù)庫為基礎(chǔ)，通過大數(shù)據(jù)連接器在 HDFS 與Oracle 的 NoSQL 數(shù)據(jù)庫之間建立鏈接，形成數(shù)據(jù)捕獲、數(shù)椐組織、數(shù)據(jù)分 析的三層技術(shù)架構(gòu)。而對(duì)于IBM 公司的大數(shù)椐架構(gòu)則是以數(shù)據(jù)整合與治理層為信息集成層，Hadoo生態(tài)系統(tǒng)、流式計(jì)算、數(shù)據(jù)倉庫為相互協(xié)作的數(shù)據(jù)處理分析層，再往上為數(shù)據(jù)可視發(fā)現(xiàn)、流計(jì)算、系統(tǒng)管理的應(yīng)用基礎(chǔ)層，最上方則是具體的分析應(yīng)用層。
通過對(duì)這些典型大數(shù)據(jù)廠商所采用技術(shù)架構(gòu)的分析和研究，我們總結(jié)出了典型的大數(shù)據(jù)技術(shù)架構(gòu)，即以 Hadoop 生態(tài)系統(tǒng)為藍(lán)本的，包含數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)管理層、數(shù)據(jù)計(jì)算層、數(shù)據(jù)應(yīng)用分析層的四層典型技術(shù)架構(gòu)。

圖 2 - 1 大數(shù)據(jù)的四層典型技術(shù)架構(gòu)

在最底層的數(shù)據(jù)存儲(chǔ)層中，通常包含HDFS分布式文件存儲(chǔ)系統(tǒng)、非關(guān)系型數(shù)據(jù)庫，若有實(shí)時(shí)性的數(shù)據(jù)需求，在此層中還可以配置具有極高數(shù)據(jù)處理速率的內(nèi)存數(shù)據(jù)庫。
對(duì)干數(shù)據(jù)管理層，其目的是為了協(xié)調(diào)下層各種類型數(shù)據(jù)庫間的數(shù)據(jù)流動(dòng)和協(xié)調(diào)配合問題. 例如大數(shù)據(jù)連接器技術(shù)用于在傳統(tǒng)關(guān)系數(shù)據(jù)庫和分布式處理系統(tǒng)之間相互傳輸信息，從而實(shí)現(xiàn)大數(shù)據(jù)數(shù)椐源的相互轉(zhuǎn)化，并為大數(shù)據(jù)分析提供便利。

對(duì)于數(shù)據(jù)計(jì)算層，則主要包含實(shí)時(shí)計(jì)算、批量計(jì)算和流式計(jì)算三種主要的計(jì)算模式，以滿足各種計(jì)算需求。
最上層的應(yīng)用分析層則包含數(shù)據(jù)可視化技木、數(shù)據(jù)分析挖掘技術(shù)、模式識(shí)別技術(shù)和圖像處理技術(shù)等。

書名：電力大數(shù)據(jù)：能源互聯(lián)網(wǎng)時(shí)代的電力企業(yè)轉(zhuǎn)型與價(jià)值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機(jī)械工業(yè)出版社