趣侃大數據:人人都有洞察力
英特爾中國研究院首席工程師:吳甘沙
微軟亞太研發集團主席:張亞勤
微軟雷德蒙研究院聯席院長:埃里克·霍維茲
緊跟著物聯網、云計算,大數據裹挾著各種版本的概念呼嘯而來,短短時間內引領了新技術熱點話題的關注度。
大數據究竟是什么新玩意?大數據真正的魅力體現在哪里?本報記者約請幾位專家進行了對話。
大數據有多大
記者:對于大數據,有一個形象的說法:現在即使是一個孩子,也可以把一個小小的存儲器放入書包,隨身攜帶TB級的數據去學校上課,甚至把整個人類文明背上都不是問題。經過大量數據的訓練和裝備,未來的電子產品或者機器可以成為“大有裨益的終身數碼伴侶”:它可以預測你是想要一包方便面還是一顆感冒藥,你想去旅游還是選擇最不堵車的路線去看球賽,甚至還能以你的名義飽蘸激情投入工作。大數據這個概念看似從字面就能理解,但確實以前沒有這么火過。首先我們想知道的是,大數據到底有多大?
吳甘沙:互聯網搜索、電子商務交易平臺和微博等社交網站產生的各種數據內容,經常被用來證明大數據之大。其實在傳統產業和我們的生活中,大數據也比比皆是。
以北京交通為例,北京市的交通智能化分析平臺,它的數據源來自路網攝像頭/傳感器、地面公交、軌道交通、出租車以及省際客運、旅游、化危運輸、停車、租車等運輸行業等:4萬輛浮動車每天產生2000萬條記錄;交通卡刷卡記錄每天1900萬條;手機定位數據每天1800萬條;出租車運營數據每天100萬條;高速ETC數據每天50萬條……這些,從數據體量和速度上也達到了大數據的規模。
發掘這些形態各異、快慢不一的數據流之間的相關性,是大數據做前人之未做、前人所不能的機會。也正是大數據最主要的特點。
比如,交通狀況與其它領域的數據都存在較強的關聯性:有研究發現,可以從供水系統數據中發現晨洗的高峰時間,加上一個偏移量,通常是40—45分鐘,就是交通早高峰時間。同樣可以從電網數據中統計出傍晚辦公樓集中關燈的時間,加上偏移量來估計出晚上的堵車時點。國外的研究甚至發現了交通事故率與睡眠質量的關聯,以及與社交網絡情感波動的相關性。
記者:IT業界所指的數據,誕生不過60多年。而一直到個人電腦普及前,由于存儲、計算和分析工具的技術和成本限制,許多自然界和人類社會值得記錄的信號,并未形成數據。大數據有沒有一個“門檻”?一些定義準確嗎?
吳甘沙:國際數據統計機構IDC對全世界每年創建和復制的信息的體量做了估計和預測:2011年1.8ZB,2012年2.8ZB,按照每兩年翻一番的速度,2020年達到40ZB。這個數據怎么算出來的?IDC秘而不宣。1.8ZB什么概念?相當于4500億張DVD,或6500萬年的高清視頻,或是1130億臺裝滿數據的iPad。如果把這些iPad覆蓋到足球場,并往上堆疊,高度將達到10.3公里,比珠穆朗瑪峰還高。思科公司也有一個類似的預測:2016年數據移動的總量達到1.3ZB。其實所有這些數據加起來都不如谷歌的前CEO施密特說法有感染力:從人類文明曙光到2003年數以萬年計的時間長河里人類一共產生了5EB(天知道他怎么算出來的),而到2010年每兩天人類就能產生5EB的數據。
這類數據的預測,對于存儲和網絡企業的投資者來說,無疑能提升信心,但對其他人來說沒有太大意義。他們更關心的是個體行業、企業和個人數據的狀況。
美國咨詢公司麥肯錫對大數據的定義就是從個體數據集的大體量入手的:大數據是指那些很大的數據集,大到傳統的數據庫軟件工具已經無法采集、存儲、管理和分析。傳統數據庫有效工作的數據上限一般來說在10—100TB,因此10—100TB通常成為大數據的門檻。
無獨有偶,IDC在給大數據做定義時也設在100TB。其實這種方法未必科學,不管怎樣,有一個簡單明晰的數值來指導企業大數據的判斷,總是好事。
大數據如何誕生
記者:大數據現在是個時髦的詞匯,但和云計算一樣,似乎很多人還沒有了解大數據是什么?或者說,因為大數據太熱了,各種各樣的說法都有。從我個人的理解,大數據應該是和云計算一樣,是隨著IT計算能力、資源和網絡、服務器等硬件設施的發展自然而然誕生的,它應該是被看作一種能力,而不是數據本身。
埃里克·霍維茲:時髦詞匯的產生有各種各樣的原因。對于大數據而
責任編輯:廖生玨
-
權威發布 | 新能源汽車產業頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產業,設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數據中心 打造融合型綜合能源系統
2020-06-16綜合能源服務,新能源消納,能源互聯網
-
新基建助推 數據中心建設將迎爆發期
2020-06-16數據中心,能源互聯網,電力新基建 -
泛在電力物聯網建設下看電網企業數據變現之路
2019-11-12泛在電力物聯網 -
泛在電力物聯網建設典型實踐案例
2019-10-15泛在電力物聯網案例
-
權威發布 | 新能源汽車產業頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產業,設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長期助力儲能行業發展
-
探索 | 既耗能又可供能的數據中心 打造融合型綜合能源系統
2020-06-16綜合能源服務,新能源消納,能源互聯網 -
5G新基建助力智能電網發展
2020-06-125G,智能電網,配電網 -
從智能電網到智能城市