大數(shù)據(jù)存儲(chǔ)平臺(tái)發(fā)展必須具有彈性
大數(shù)據(jù)推動(dòng)存儲(chǔ)市場(chǎng)發(fā)展
近日,美國市場(chǎng)研究公司IDC發(fā)布報(bào)告稱,大數(shù)據(jù)技術(shù)和服務(wù)的不斷升級(jí),拉動(dòng)全球存儲(chǔ)市場(chǎng)將在2011至2016年間實(shí)現(xiàn)53%的復(fù)合年增長率。在可預(yù)見的未來,多數(shù)組織產(chǎn)生、處理、存儲(chǔ)的數(shù)據(jù)都將繼續(xù)保持快速增長。“在可預(yù)見的未來,存儲(chǔ)是大數(shù)據(jù)和分析領(lǐng)域最大的基礎(chǔ)設(shè)施開支之一。”IDC存儲(chǔ)系統(tǒng)研究總監(jiān)阿西什·納卡尼說,“大數(shù)據(jù)和分析領(lǐng)域所產(chǎn)生的存儲(chǔ)開支將從2011年的3.799億美元,激增至2016年的60億美元。”
在受訪企業(yè)中,有68.6%在選擇存儲(chǔ)架構(gòu)時(shí)主要看重性能,有59.5%更加看重成本。接近31%的受訪企業(yè)表示,雖然尚未針對(duì)數(shù)據(jù)分析基礎(chǔ)架構(gòu)部署企業(yè)存儲(chǔ)系統(tǒng),但準(zhǔn)備在今后6個(gè)月內(nèi)部署。
在實(shí)際應(yīng)用方面,63.7%的受訪企業(yè)主要借此分析運(yùn)營數(shù)據(jù),還有53.3%主要分析交易數(shù)據(jù)。IT是數(shù)據(jù)分析基礎(chǔ)架構(gòu)的最大影響因素,遠(yuǎn)高于排名第二的運(yùn)營。有超過61%的受訪企業(yè),將提升客戶滿意度作為數(shù)據(jù)分析方案所應(yīng)解決的最大商業(yè)挑戰(zhàn)。
大數(shù)據(jù)存儲(chǔ)容易出現(xiàn)問題
在大數(shù)據(jù)時(shí)代來臨之際,我們面臨的挑戰(zhàn)還有存儲(chǔ)問題。大數(shù)據(jù)中的大容量通常可達(dá)到PB級(jí)的數(shù)據(jù)規(guī)模,那么對(duì)于海量數(shù)據(jù)存儲(chǔ)系統(tǒng)擴(kuò)展能力的要求也會(huì)很高。以國內(nèi)某省為例,公共視頻監(jiān)控已經(jīng)超過100多萬個(gè)攝像頭,總保有量近400萬,以此估計(jì),全國攝像頭數(shù)量不少于4000萬,某投行的報(bào)告稱行業(yè)每年還在以20%加速增長,行業(yè)龍頭海康威視12年的年報(bào)披露的銷售量就達(dá)570萬套(含前后端),增長37%。而另一個(gè)數(shù)據(jù)也很驚人,英國的攝像頭數(shù)量與人口數(shù)量之比已經(jīng)達(dá)到1:15。
粗略計(jì)世界至少有1億個(gè)攝像頭在角落靜靜的看著,這樣的視頻監(jiān)控將是數(shù)據(jù)的大生成器。從攝像前端的海量數(shù)據(jù)和到有效數(shù)據(jù)之間的也存在矛盾,攝像頭不停歇的工作,如實(shí)記錄鏡頭覆蓋范圍發(fā)生的一切,但對(duì)于客戶來講大部分信息是無效,有效信息可能只分布在一個(gè)較短的時(shí)間段內(nèi),大量的數(shù)據(jù)存儲(chǔ)給數(shù)據(jù)庫帶來不小的壓力,而無效的數(shù)據(jù)更是對(duì)于資源的浪費(fèi)。
與此同時(shí),存儲(chǔ)系統(tǒng)的擴(kuò)展一定要簡(jiǎn)便,盡量能通過增加模塊或磁盤柜來增加容量,甚至不需要停機(jī)。基于這樣的需求,客戶現(xiàn)在越來越青睞Scale-out架構(gòu)的存儲(chǔ)。Scale-out集群結(jié)構(gòu)的特點(diǎn)是每個(gè)節(jié)點(diǎn)除了具有一定的存儲(chǔ)容量之外,內(nèi)部還具備數(shù)據(jù)處理能力以及互聯(lián)設(shè)備,與傳統(tǒng)存儲(chǔ)系統(tǒng)的煙囪式架構(gòu)完全不同,Scale-out架構(gòu)可以實(shí)現(xiàn)無縫平滑的擴(kuò)展,避免存儲(chǔ)孤島。
大數(shù)據(jù)存儲(chǔ)平臺(tái)必須具有彈性
● 大數(shù)據(jù)之“大”
“大”是相對(duì)而言的概念。例如,對(duì)于像SAPHANA那樣的“內(nèi)存數(shù)據(jù)庫”來說,2TB可能就已經(jīng)是大容量了;而對(duì)于像谷歌這樣的搜索引擎,EB的數(shù)據(jù)量才能稱得上是大數(shù)據(jù)。
“大”也是一個(gè)迅速變化的概念。HDS在2004年發(fā)布的USP存儲(chǔ)虛擬化平臺(tái)具備管理32PB內(nèi)外部附加存儲(chǔ)的能力。當(dāng)時(shí),大多數(shù)人認(rèn)為,USP的存儲(chǔ)容量大得有些離譜。但是現(xiàn)在,大多數(shù)企業(yè)都已經(jīng)擁有PB級(jí)的數(shù)據(jù)量,一些搜索引擎公司的數(shù)據(jù)存儲(chǔ)量甚至達(dá)到了EB級(jí)。由于許多家庭都保存了TB級(jí)的數(shù)據(jù)量,一些云計(jì)算公司正在推廣其文件共享或家庭數(shù)據(jù)備份服務(wù)。
● 有容乃“大”
由此看來,大數(shù)據(jù)存儲(chǔ)的首要需求存儲(chǔ)容量可擴(kuò)展。大數(shù)據(jù)對(duì)存儲(chǔ)容量的需求已經(jīng)超出目前用戶現(xiàn)有的存儲(chǔ)能力。我們現(xiàn)在正處于PB級(jí)時(shí)代,而EB級(jí)時(shí)代即將到來。過去,許多企業(yè)通常以五年作為IT系統(tǒng)規(guī)劃的一個(gè)周期。在這五年中,企業(yè)的存儲(chǔ)容量可能會(huì)增加一倍。現(xiàn)在,企業(yè)則需要制定存儲(chǔ)數(shù)據(jù)量級(jí)(比如從PB級(jí)到EB級(jí))的增長計(jì)劃,只有這樣才能確保業(yè)務(wù)不受干擾地持續(xù)增長。
這就要求實(shí)現(xiàn)存儲(chǔ)虛擬化。存儲(chǔ)

責(zé)任編輯:廖生玨
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計(jì)落地:鼓勵(lì)“光儲(chǔ)充放”,有序推進(jìn)氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計(jì) -
中國自主研制的“人造太陽”重力支撐設(shè)備正式啟運(yùn)
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng)
-
新基建助推 數(shù)據(jù)中心建設(shè)將迎爆發(fā)期
2020-06-16數(shù)據(jù)中心,能源互聯(lián)網(wǎng),電力新基建 -
泛在電力物聯(lián)網(wǎng)建設(shè)下看電網(wǎng)企業(yè)數(shù)據(jù)變現(xiàn)之路
2019-11-12泛在電力物聯(lián)網(wǎng) -
泛在電力物聯(lián)網(wǎng)建設(shè)典型實(shí)踐案例
2019-10-15泛在電力物聯(lián)網(wǎng)案例
-
新基建之充電樁“火”了 想進(jìn)這個(gè)行業(yè)要“心里有底”
2020-06-16充電樁,充電基礎(chǔ)設(shè)施,電力新基建 -
燃料電池汽車駛?cè)雽こ0傩占疫€要多久?
-
備戰(zhàn)全面電動(dòng)化 多部委及央企“定調(diào)”充電樁配套節(jié)奏
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計(jì)落地:鼓勵(lì)“光儲(chǔ)充放”,有序推進(jìn)氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計(jì) -
中國自主研制的“人造太陽”重力支撐設(shè)備正式啟運(yùn)
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長期助力儲(chǔ)能行業(yè)發(fā)展
-
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng) -
5G新基建助力智能電網(wǎng)發(fā)展
2020-06-125G,智能電網(wǎng),配電網(wǎng) -
從智能電網(wǎng)到智能城市
-
山西省首座電力與通信共享電力鐵塔試點(diǎn)成功
-
中國電建公司公共資源交易服務(wù)平臺(tái)摘得電力創(chuàng)新大獎(jiǎng)
-
電力系統(tǒng)對(duì)UPS的技術(shù)要求