我們先來看看百度關(guān)于“大數(shù)據(jù)”（Big Data）的搜索指數(shù)，如下圖所示。

 

圖1-1 “大數(shù)據(jù)”搜索指數(shù)

 

   可以看出，“大數(shù)據(jù)”這個詞是從2012年才引起關(guān)注的，之后搜索量便迅猛增長。為什么大數(shù)據(jù)這么受關(guān)注？看看下面的圖就明白了。2004年，全球數(shù)據(jù)總量是30EB 。隨后，2005年達(dá)到了50EB，2006年達(dá)到了161EB。到2015年，居然達(dá)到了驚人的7,900EB。到2020年，將達(dá)到35,000EB。這個規(guī)律，被稱為新摩爾定律，即：人類有史以來的數(shù)據(jù)總量，每過18個月就會翻一番。

圖1-2 全球數(shù)據(jù)總量

 

   為什么全球數(shù)據(jù)量增長如此之快？一方面是由于數(shù)據(jù)產(chǎn)生方式的改變。歷史上，數(shù)據(jù)基本上是通過手工產(chǎn)生的。隨著人類步入信息社會，數(shù)據(jù)產(chǎn)生越來越自動化了。比如在精細(xì)農(nóng)業(yè)中，需要采集植物生長環(huán)境的溫度、濕度、病蟲害信息，來對植物的生長進(jìn)行精細(xì)的控制。因此我們在植物的生長環(huán)境中安裝各種各樣的傳感器，自動地收集我們需要的信息。對環(huán)境的感知，是一種抽樣的手段，抽樣密度越高，越逼近真實情形。如今，人類不再滿足于得到部分信息，而是傾向于收集對象的全量的信息，即將我們周圍的一切數(shù)據(jù)化。因為有些數(shù)據(jù)如果丟失了哪怕很小一部分，都有可能得出錯誤的結(jié)論，比如通過分析人的基因組判斷某人可能患有某種疾病，即使丟失一小塊基因片段，都有可能導(dǎo)致錯誤的結(jié)論。為了達(dá)到這個目的，傳感器的使用量暴增。目前全球大約有30-50億個傳感器，到2020年將達(dá)到1000億個之多。這些傳感器24小時都在產(chǎn)生數(shù)據(jù)，這就導(dǎo)致了信息爆炸。

   另一方面，人類的活動越來越依賴數(shù)據(jù)。一是人類的日常生活已經(jīng)與數(shù)據(jù)密不可分。全球已經(jīng)有大約30億人連入了互聯(lián)網(wǎng)。在Web 2.0時代，每個人不僅是信息的接受者，同時也是信息的產(chǎn)生者，每個人都成為了數(shù)據(jù)源，每個人都在用智能終端拍照、拍錄像、發(fā)微博、發(fā)微信等。全球每天會有2.88萬小時的視頻上傳到Y(jié)outube，會有5千萬條信息上傳到Twitter，會在亞馬遜產(chǎn)生630萬筆訂單…；二是科學(xué)研究進(jìn)入到了“數(shù)據(jù)科學(xué)”時代。例如，在物理學(xué)領(lǐng)域，歐洲粒子物理研究所的大型強子對撞機，每秒產(chǎn)生的原始數(shù)據(jù)量高達(dá)40TB。在天文學(xué)領(lǐng)域，2000年斯隆數(shù)字巡天項目啟動的時候，位于墨西哥州的望遠(yuǎn)鏡在短短幾周內(nèi)收集到的數(shù)據(jù)比天文學(xué)歷史上的總和還要多；三是各行各業(yè)也越來越依賴大數(shù)據(jù)手段來開展工作。例如，石油部門用地震勘探的方法來探測地質(zhì)構(gòu)造、尋找石油，使用了大量傳感器來采集地震波形數(shù)據(jù)。高鐵的運行要保障安全，需要在每一段鐵軌周邊大量部署傳感器，從而感知異物、滑坡、水淹、變形、地震等異常。在智慧城市建設(shè)中，包括平安城市、智能交通、智慧環(huán)保和智能家居等，都會產(chǎn)生大量的數(shù)據(jù)。目前一個普通城市的攝像頭往往就有幾十萬個之多，每分每秒都在產(chǎn)生極其海量的數(shù)據(jù)。 

   那么，何謂大數(shù)據(jù)？參考維基百科，本書給出的定義如下：海量數(shù)據(jù)或巨量數(shù)據(jù)，其規(guī)模巨大到無法通過目前主流的計算機系統(tǒng)在合理時間內(nèi)獲取、存儲、管理、處理并提煉以幫助使用者決策。

   目前工業(yè)界普遍認(rèn)為大數(shù)據(jù)具有4V+1C的特征：

   1）數(shù)據(jù)量大（Volume）：存儲的數(shù)據(jù)量巨大，PB級別是常態(tài)，因而對其分析的計算量也大；

   2）多樣（Variety）：數(shù)據(jù)的來源及格式多樣，數(shù)據(jù)格式除了傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)外，還包括半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，比如用戶上傳的音頻和視頻內(nèi)容。而隨著人類的活動的進(jìn)一步拓寬，數(shù)據(jù)的來源更加多樣；

   3）快速（Velocity）：數(shù)據(jù)增長速度快，而且越新的數(shù)據(jù)價值越大，這就要求對數(shù)據(jù)的處理速度也要快，以便能夠從數(shù)據(jù)中及時地提取知識，發(fā)現(xiàn)價值；

   4）價值密度低（Value）：需要對大量的數(shù)據(jù)處理挖掘其潛在的價值，因而，大數(shù)據(jù)對我們提出的明確要求是設(shè)計一種在成本可接受的條件下，通過快速采集、發(fā)現(xiàn)和分析從大量、多種類別的數(shù)據(jù)中提取價值的體系架構(gòu)；

  5）復(fù)雜度（Complexity）：對數(shù)據(jù)的處理和分析和處理的難度大。

 

本欄目由犀思云計算(Syscloud)贊助冠名，犀思云為中國領(lǐng)先的云計算及IDC綜合服務(wù)提供商，面向全國范圍內(nèi)的用戶提供服務(wù)器托管與租用服務(wù)，云計算IaaS領(lǐng)域內(nèi)網(wǎng)絡(luò)，計算，存儲，安全等服務(wù)，以及面向互聯(lián)網(wǎng)及傳統(tǒng)行業(yè)的混合云解決方案。