時空飛越千萬倍 內存計算奇驚天
IDC發布《數字宇宙研究報告》稱:2011年全球被創建和復制的數據總量將達到1 8ZB,與2010年同期相比,上漲超過1ZB。如果按照全球人口總數70億換算,相當于人手一塊容量為100GB的硬盤。報告預計到2015年,
IDC發布《數字宇宙研究報告》稱:2011年全球被創建和復制的數據總量將達到1.8ZB,與2010年同期相比,上漲超過1ZB。如果按照全球人口總數70億換算,相當于人手一塊容量為100GB的硬盤。報告預計到2015年,全球數據量將達8ZB。——這意味著人類自結繩記事以來數千年所產生的數據總量,僅需兩到三年時間即可達到。大數據時代已然來臨。
快速膨脹的數據量,若缺乏很好的預先規劃跟及時的應變對策,企業面臨的風險勢必更加嚴峻。正是認識到了這一點,遼寧電力有限公司率先了解各種大數據處理技術,尤其深入研究了SAP HANA內存計算技術原理及其主要特點,以及該內存計算技術驗證項目實施工程方法,在分析海量歷史和實時信息處理存在的問題的情況下,率先采用SAP HANA內存計算技術進行實際應用。為進一步了解該項目情況,本刊記者采訪了遼寧電力有限公司(以下簡稱“遼電”)科技信息部副主任潘明惠先生。
電力信息化用戶參考:成功實施SGERP 以來,遼電的數據情況發生了哪些變化?
潘明惠:隨著國家電網公司SG186工程全面完成,SGERP全面推進,電網基礎自動化設備的不斷改進,智能電網應用軟件及生產信息管理平臺的快速發展,信息化基礎設施和軟硬件快速擴充,信息系統復雜度也大幅增加,信息量以幾何級數的增長。然而隨著系統運行與應用水平的不斷提高,海量歷史和實時信息處理也出現了不少問題。
例如數據量過大,系統資源有限,效率低、速度慢、運行不出結果。較難支持大數據量的查詢、系統需要較長時間處理查詢與分析。需要較為明確的查詢條件、較難一次性查詢到需要的信息;四是取數邏輯復雜,造成運行無效率問題,以致無法及時提供支持緊急需要的決策信息。對于隨著應用持續深化,信息量持續增長,造成增加硬盤也無法解決的問題。
電力信息化用戶參考:在這樣的情形之下,遼電做了哪些工作?
潘明惠:遼寧電力ERP項目歷時3年,完成包括ERP計劃、項目、設備、財務、物質、人力資源等六大模塊在內的單軌運行、高級應用、全覆蓋、流程管理、易用化及深化應用,與PMS、GIS、營銷管理、協同辦公、電子商務、經濟法律等23個系統實現集成應用。2011年,遼寧電力開始著手SAP HANA內存計算技術的驗證項目與應用研究, 驗證場景涉及企業主營業務中緊耦合的10大類業務36個場景,驗證數據達116338.42 萬條,數據量達9.52TB 。每種驗證方案至少設計2個以上場景,由不同的技術顧問進行多方驗證,以便從不同角度發現各種潛在問題。經過一年多的摸索,遼電在計算技術應用、數據庫技術應用和海量數據分析處理等方面取得了一些可喜成果。
電力信息化用戶參考:相較于其他大數據處理技術,內存計算技術基本原理是什么?
潘明惠:在軟件、硬件系統協同配置環境下,將數據庫及數據倉庫移到內存中進行的運算,突破I/O瓶徑限制,采用高效并行處理技術,基于內存的高效數據讀取和處理以及智能數據字典等高效的數據壓縮機制,支持行存儲和列存儲的內存數據庫,支持同時提供OLTP交易系統和OLAP分析系統。利用虛擬數據模型,實現內存數據倉庫數據的高效率計算功能,減少冗余的數據,應用內置的計算引擎,將原來在應用層進行的運算轉移到數據庫層面處理,對數據密集型運算,優化應用層和數據庫層之間的數據交互,從而從整體上提升系統的效率。
電力信息化用戶參考:內存計算技術在數據讀取和處理方面有哪些特點?
潘明惠:內存計算技術是基于內存的高效數據讀取和處理方式。從數據庫中讀取數據因為磁盤I/O的性能限制而成為瓶頸,原因是傳統數據庫實際上是將數據以文件的形式存儲在磁盤上并為應用提供訪問數據的接口,從數據庫中讀取數據的本質是從磁盤上讀取文件。在過去幾十年的硬件發展中,內存和CPU的性能始終在飛速的提升,只有磁盤I/O的性能提升并不明顯。從磁盤上讀取數據的速度是毫秒級。而從內存中讀取數據的速度是納秒級,基于內存的數據讀取比基于磁盤的數據讀取性能要快100萬倍。所以當基于數據倉庫進行報表分析時,
快速膨脹的數據量,若缺乏很好的預先規劃跟及時的應變對策,企業面臨的風險勢必更加嚴峻。正是認識到了這一點,遼寧電力有限公司率先了解各種大數據處理技術,尤其深入研究了SAP HANA內存計算技術原理及其主要特點,以及該內存計算技術驗證項目實施工程方法,在分析海量歷史和實時信息處理存在的問題的情況下,率先采用SAP HANA內存計算技術進行實際應用。為進一步了解該項目情況,本刊記者采訪了遼寧電力有限公司(以下簡稱“遼電”)科技信息部副主任潘明惠先生。
電力信息化用戶參考:成功實施SGERP 以來,遼電的數據情況發生了哪些變化?
潘明惠:隨著國家電網公司SG186工程全面完成,SGERP全面推進,電網基礎自動化設備的不斷改進,智能電網應用軟件及生產信息管理平臺的快速發展,信息化基礎設施和軟硬件快速擴充,信息系統復雜度也大幅增加,信息量以幾何級數的增長。然而隨著系統運行與應用水平的不斷提高,海量歷史和實時信息處理也出現了不少問題。
例如數據量過大,系統資源有限,效率低、速度慢、運行不出結果。較難支持大數據量的查詢、系統需要較長時間處理查詢與分析。需要較為明確的查詢條件、較難一次性查詢到需要的信息;四是取數邏輯復雜,造成運行無效率問題,以致無法及時提供支持緊急需要的決策信息。對于隨著應用持續深化,信息量持續增長,造成增加硬盤也無法解決的問題。
電力信息化用戶參考:在這樣的情形之下,遼電做了哪些工作?
潘明惠:遼寧電力ERP項目歷時3年,完成包括ERP計劃、項目、設備、財務、物質、人力資源等六大模塊在內的單軌運行、高級應用、全覆蓋、流程管理、易用化及深化應用,與PMS、GIS、營銷管理、協同辦公、電子商務、經濟法律等23個系統實現集成應用。2011年,遼寧電力開始著手SAP HANA內存計算技術的驗證項目與應用研究, 驗證場景涉及企業主營業務中緊耦合的10大類業務36個場景,驗證數據達116338.42 萬條,數據量達9.52TB 。每種驗證方案至少設計2個以上場景,由不同的技術顧問進行多方驗證,以便從不同角度發現各種潛在問題。經過一年多的摸索,遼電在計算技術應用、數據庫技術應用和海量數據分析處理等方面取得了一些可喜成果。
電力信息化用戶參考:相較于其他大數據處理技術,內存計算技術基本原理是什么?
潘明惠:在軟件、硬件系統協同配置環境下,將數據庫及數據倉庫移到內存中進行的運算,突破I/O瓶徑限制,采用高效并行處理技術,基于內存的高效數據讀取和處理以及智能數據字典等高效的數據壓縮機制,支持行存儲和列存儲的內存數據庫,支持同時提供OLTP交易系統和OLAP分析系統。利用虛擬數據模型,實現內存數據倉庫數據的高效率計算功能,減少冗余的數據,應用內置的計算引擎,將原來在應用層進行的運算轉移到數據庫層面處理,對數據密集型運算,優化應用層和數據庫層之間的數據交互,從而從整體上提升系統的效率。
電力信息化用戶參考:內存計算技術在數據讀取和處理方面有哪些特點?
潘明惠:內存計算技術是基于內存的高效數據讀取和處理方式。從數據庫中讀取數據因為磁盤I/O的性能限制而成為瓶頸,原因是傳統數據庫實際上是將數據以文件的形式存儲在磁盤上并為應用提供訪問數據的接口,從數據庫中讀取數據的本質是從磁盤上讀取文件。在過去幾十年的硬件發展中,內存和CPU的性能始終在飛速的提升,只有磁盤I/O的性能提升并不明顯。從磁盤上讀取數據的速度是毫秒級。而從內存中讀取數據的速度是納秒級,基于內存的數據讀取比基于磁盤的數據讀取性能要快100萬倍。所以當基于數據倉庫進行報表分析時,
責任編輯:何健
免責聲明:本文僅代表作者個人觀點,與本站無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。
我要收藏
個贊
-
曹志剛:我們期待風電成為中國的主力能源
2020-11-17風電,能源,主力能源 -
張鈞:未來配電網內涵特征與發展框架研究
2020-11-03配電網,智能配電網,智能配電網建設研討會 -
習近平:持續增強電力裝備、新能源等領域的全產業鏈優勢
2020-11-02電力裝備,新能源,通信設備
-
曹志剛:我們期待風電成為中國的主力能源
2020-11-17風電,能源,主力能源 -
張鈞:未來配電網內涵特征與發展框架研究
2020-11-03配電網,智能配電網,智能配電網建設研討會 -
杜祥琬:創新觀念,推動能源高質量發展
2020-09-28能源,創新,觀點
-
PPT丨王繼業:電力系統儲能發展與挑戰
2020-10-14儲能,電力儲能,儲能應用 -
奮斗姿態書寫人生底色 銀隆儲能“小哥哥”的職場進擊姿勢
2020-10-12銀隆新能源,儲能,新能源汽車 -
鄒驥:通過發展清潔能源 提高中國公信力
2020-06-28鄒驥,清潔能源,綠色低碳能源
-
習近平:持續增強電力裝備、新能源等領域的全產業鏈優勢
2020-11-02電力裝備,新能源,通信設備 -
重磅 | 發改委發文7月起電價降5%
2020-06-29國家發改委,企業,用電成本,電費 -
李克強:放寬配售電業務市場準入 推動建立市場決定能源價格機制
2019-10-12配售電業務市場準入