電力信息系統去IOE可行性研究
0 引言
隨著信息安全事件的頻發以及業務對數據存儲、需求響應能力要求的提高,各行各業都在進行去IOE嘗試,即去掉業務系統架構的IBM小型機、Oracle數據庫、EMC存儲。文獻[1]中介紹了阿里巴巴去IOE的初衷、IOE的技術替代等,最終阿里巴巴以其強大的技術團隊成功實現去IOE;文獻[2]中介紹了電信運營商去IOE的進程:針對核心系統逐步實現去IOE,針對非核心新建系統直接采用非IOE架構建設,并且還介紹了電信運營商在去I、去O、去E中存在的技術難點和對策方案;文獻[3]中介紹了電信運行商存在去IOE的訴求,但是同時也存在很多困難,如內部技術實力缺乏、數據混亂不易遷移以及電信級服務具有不能出錯的要求等;文獻[4]對阿里巴巴去IOE進行了分析和評價,介紹了金融業的現狀,并討論了金融業去IOE的必要性,最后提出了金融業可借鑒的阿里巴巴去IOE的經驗;文獻[5]國網黑龍江電力從信息安全方面考慮,研發了一套高性能數據庫方案實現了財務管控系統的去O;文獻[6-8]對國內企業如互聯網、電信運營商、金融、能源在去IOE中面臨的問題以及采用的解決方案進行了綜合討論,提出應該結合自身的成本、技術積累等決定是否去IOE,不能盲從。
即使已經有不少行業針對去IOE做了很多研
究[9-12],但是針對電力信息業務去IOE的研究還不是很多,尤其結合信息業務的特點來決定是否去IOE的研究基本沒有,因此本文首先分析成功去IOE的系統的業務特點,基于研究結果,探討電力信息系統中滿足去IOE條件的業務,為電力信息業務去IOE指明方向,具有重要參考價值。
1 去IOE業務本質研究
1.1 阿里巴巴去IOE
由于IOE技術體系架構已經不能滿足海量數據處理、大規模并發訪問等業務,并且一個企業過于依賴專用的硬件設備比較危險,因此,阿里巴巴于
2008年提出去IOE戰略。
1999年底,隨著互聯網高潮來臨,中國網絡購物的用戶規模不斷上升;從2009年開始,中國網絡購物市場交易規模開始突飛猛進,2009年到2016年間中國網絡購物市場延續用戶規模、交易規模的雙增長態勢,2009—2016年中國網絡購物市場交易規模增長趨勢如
淘寶、天貓在所有網絡購物平臺中交易量居首,因此,隨著網絡交易規模的擴大,阿里巴巴業務量急劇增長,尤其是“雙11”購物狂歡節,日交易量達到頂峰。2009—2016年淘寶天貓雙11成交額如
爆炸式增長的業務,對阿里巴巴傳統IT系統的計算能力以及存儲能力帶來了很大的挑戰。阿里巴巴傳統IT系統的搭建采用IBM小型機、Oracle數據庫、EMC存儲設備,業務的增長造成系統規模擴大、復雜度提高,其管理和維護都面臨極大的困難。在處理海量數據的并發訪問時,“IOE”體系就像是一個集中式的強大單點,這個集中式的強大單點具有穩定性差、容災切換復雜、擴容能力有限等缺點,嚴重制約了阿里巴巴業務的發展。此外,由于阿里巴巴處于業務高速增長的階段,對IT系統和架構的靈活性具有較高的要求,因此,產品體系相對封閉的“IOE”架構也限制了其自身技術潛力的發揮。
在這種情況下,阿里巴巴集團于2010年1月正式啟動了“去IOE”戰略。阿里巴巴的“去IOE”行動是在不斷地嘗試過程中循序漸進、依次深入進行的,主要分為以下3個階段。
1)淘寶商品庫嘗試“去O”。實現商品庫Oracle數據庫的讀寫分離,把不重要的業務遷移到MySQL上,梳理核心業務接口,為其未來遷移到MySQL做準備。
2)淘寶三大庫“去IOE”。2011年7月,淘寶最核心的用戶中心庫、商品庫完成從集中式到分布式的遷移,標志著用戶庫和商品庫實現了“去IOE”;此外,淘寶的交易庫也逐步向MySQL遷移,2011年9月交易庫完成“去IOE”。
3)阿里巴巴內部全面推行“去IOE”。2013年5月,阿里巴巴的最后一臺IBM小型機在支付寶系統中下線;2個月之后,淘寶的最后一個Oracle數據庫在淘寶重中之重的廣告系統中下線。
阿里巴巴集團去IOE進程如
阿里巴巴去“IOE”的成功實施,不僅保證了集團快速增長的業務需求,而且能夠應對“雙11”零點的單點極大峰值情況,同時,阿里巴巴團隊積累了大量的技術經驗,業務架構更加開放靈活,降低了對設備廠商的依賴,提高了框架和技術的自主把控能力。
1.2 12306網站去IOE
鐵道部的12306網上購票系統于2011年年底全面投入使用,新穎的在線購票方式方便了大家的出行,然而由于2012年春運訪問量超出設計預期,導致網站出現頁面訪問過慢、用戶無法登錄、查詢和下單出錯、后臺系統過載等一系列問題,引起用戶怨聲載道。
針對該問題,2012年,中國鐵道科學院電子計算技術研究所選擇Pivotal GemFire分布式內存計算平臺(Distributed In-memory computing)對12306網站的余票查詢系統和訂單查詢系統進行改造,大大加快了查詢速度;但是由于12306網站訪問峰谷的查詢流量有天壤之別,在成本和并發能力之間不能做出好的平衡,2015年,通過阿里云的彈性和按量付費的計量方式,12306網站把查詢系統放在云上,實現了查詢系統的去IOE[13]。
查詢業務占12306網站訪問流量的90%,與阿里云的合作大大減少12306網站的壓力,根據訪問峰谷彈性購買云服務的機制,不僅保證訪問高峰時期網站具有高效的查詢效率,而且在訪問低谷時期節省資源、減少成本,有效地化解了12306面臨的困境。
1.3 去IOE業務本質
上述2個實例表明,阿里巴巴實現了全網的去IOE,12306網站僅是實現了查詢系統的去IOE。去IOE能夠以較低成本根據業務流量比較容易地實現橫向擴展,而且可以擺脫對國外產品的依賴,保證系統的安全性。為什么12306網站的訂票系統不采用此技術,而仍然采用傳統的IOE架構呢?可以從以下3點進行討論。
1)業務的關聯性。阿里巴巴中每一類商品的交易都是獨立的,交易操作只會造成該類商品的數量發生變化,而不會影響其他商品的數量;而12306網站中的車票一旦發生交易操作,則會影響該次列車所有里程之間的車票數量發生變化,假設一次列車所經站點為北京、保定、石家莊,此時下單一張北京—石家莊的車票,那么北京—石家莊、北京—保定、保定—石家莊的所有余票數量都會發生變化,這些余票數量通過復雜的算法計算得到。由此可知,阿里巴巴中商品的交易業務沒有關聯性,無關聯的業務可以進行并行處理,采用分布式架構對此類業務是很好的解決方案,隨著業務量的加大,只需橫向增加計算、存儲資源就可以輕松應對;而12306中車票的交易業務之間具有強關聯性,采用串行處理方式:一次業務的執行,必須對其他業務加鎖,直到此次業務執行完成,才能對其他交易解鎖執行,此類業務采用去IOE技術時,采用的x86處理器性能遠遠低于小型機,而且增加了I/O開銷,反而降低了業務處理速度。
2)數據庫讀寫速度。IOE中的Oracle是一個高效率的適應高吞吐量的數據庫,適應各種安裝環境;去IOE則是使用MySQL代替Oracle,MySQL在不需要事物化處理時被認為是一個較好的管理工具。對于關聯性業務,一個業務數據的改變,使其他業務數據也一定會發生變化,需要對數據庫進行多次讀寫操作,因此數據庫需要具備較快的讀寫速度,通過大量實驗證明,Oracle讀寫速度優于MySQL,因此串行業務需要謹慎考慮去O。
3)系統性能。阿里云系統是典型的分布式架構,和HPC系統相比具有可伸縮性強的優點,隨著并行業務的增多,分布式系統通過增加成本較低的計算節點以滿足要求,但是處理串行業務時,重點考驗單個節點的計算能力,此時只有HPC系統才能保障業務處理效率。
上述論述證明,串行任務對單個計算節點的數據處理能力、數據庫的讀寫速度等都具有較高要求,而去IOE的分布式系統因為采用低性能的x86處理機、MySQL數據庫而不能達到性能要求,所以該類業務系統不適合實施去IOE;獨立的、無關聯性的業務可以并發處理,可以通過橫向擴展計算節點來提高業務處理速度、數據存儲空間,因此該類業務系統可以進行去IOE嘗試。
2 電力信息業務去IOE探討
電網具有生產方式多樣、運行方式復雜的特點,而且隨著國家電網公司提出建設堅強智能電網、建設“三集五大”體系,電網積累了大量運營數據:體量大、類型多、價值高、速度快。面對電力負荷的快速增長以及基于大數據進行電力分析和預測的需求,國家電網現有系統已經不能滿足業務變化需求,通過考察借鑒互聯網公司的架構變遷經驗,電網公司決定實施去IOE,轉而采用具有彈性結構的分布式系統。
國家電網公司SG-ERP平臺按5條主線實現了對“SG186”八大業務的融合,5條主線如下:人財物集約化管理、能量全過程管理、資產全壽命管理、客戶全方位管理
責任編輯:售電衡衡
-
權威發布 | 新能源汽車產業頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產業,設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數據中心 打造融合型綜合能源系統
2020-06-16綜合能源服務,新能源消納,能源互聯網
-
新基建助推 數據中心建設將迎爆發期
2020-06-16數據中心,能源互聯網,電力新基建 -
泛在電力物聯網建設下看電網企業數據變現之路
2019-11-12泛在電力物聯網 -
泛在電力物聯網建設典型實踐案例
2019-10-15泛在電力物聯網案例
-
權威發布 | 新能源汽車產業頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產業,設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長期助力儲能行業發展
-
探索 | 既耗能又可供能的數據中心 打造融合型綜合能源系統
2020-06-16綜合能源服務,新能源消納,能源互聯網 -
5G新基建助力智能電網發展
2020-06-125G,智能電網,配電網 -
從智能電網到智能城市