2.2 電力大數據技術體系

2.2.5高性能計算技術

高性能計算是指通常使用很多處理器（作為單個機器的部分）或者某一集群組織中的幾臺計算機（作為單個計算資源操作）的計算系統和環境。高性能計算技術主要包括三個方面，即實時計算、批量計算和流式計算。

（1）實時計算
實時計算是指根據計算需求從海量數據中實時進行排重、排名、匯總等運算，并為用戶提供實時響應，主要針對海量數據且無法預算的情況。
實時計算的技術優勢主要體現在以下四個方面：
1）對海量數據進行分布式處理并為用戶提供實時響應。
2）將計算過程推遲到應用階段進行，減輕了系統的計算負擔。
3）數據加載過程和數據計算過程分離，加載過程先于計算過程，提高了計算效率。
4）數據加載過程不需要實時，從某種程度上降低了對數據處理的難度。

（2）批量計算
批量計算是指對靜態海量數據的批量處理，即當開始計算之前 數據已經準備到位，主要用于數據挖掘和驗證業務模型。
批量計算的技術優勢主要休現在以下四個方面：
1）可以對海量靜態的數據進行大規模分析。
2）數據采用批量的方式進行處理，極大提升了大規模數據處理的吞吐量。
3）數據處理的方式可分為離線和在線兩種方式， 對計算的實時性要求比較低。
4）在對計算結果進行查看之前數據已經處理完畢,提高了數據查詢的速度。

（3）流式計算
流式計算是指對具有時效性的流式數據進行的計算，計算結果在數據出現之后立即得出，流式計算需要依賴上游數據傳輸的正確性和實時性以及下游存儲系統的高吞吐率。
流式計算的技術優勢主要體現在以下三個方面：
1）采用分布式計算方式處理流式數據，提高了對海量實時數據的處理能力。
2）數據一出現便立刻處理而不是緩存起來進行批量處理，提升了對數據處理的實時響應。
3）為海量的實時數據提供了一種快速分析和計算的能力。
 

書名：電力大數據：能源互聯網時代的電力企業轉型與價值創造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機械工業出版社