趣侃大數據:人人都有洞察力
言,我認為是幾個因素共同導致了這一朗朗上口的詞匯的流行。其中之一是人們在不同領域采集到的數據量之大,達到了前所未有的程度,而傳感、存儲和網絡等計算機科學領域也在不斷前行。人們需要收集大量數據,一部分原因在于許多人類活動已經轉向了網絡,各種交易和事件數據的收集變得十分容易,而且能夠實時同步收集。這些活動包括電子商務、通過道路上的傳感器記錄汽車行駛狀況、利用位置數據提供智能手機服務等。而在醫療領域,基因組研究的突飛猛進和醫院臨床數據捕獲,將越來越多的GB級乃至TB級患者數據輸送到數據庫中。
吳甘沙:數據總量的增長主要歸功于非結構化數據的增長,目前普遍被認為占到85%以上,而且增速比結構化數據快得多,有種說法是快10—50倍。
早期的非結構化數據,主要是文本,如電子郵件、文檔等。隨著互聯網和物聯網的發展,又擴展到網頁、社交媒體、感知數據,涵蓋音頻、圖片、視頻、模擬信號等等,真正詮釋了數據的多樣性。但同時,低信息密度的非結構化數據是大數據的一大挑戰。
從具體內容上,大數據通常分為四類:科研數據、互聯網數據、企業數據、感知數據。
科研數據屬于大數據時代前很久就存在的“史前生物”,可能來自生物工程、天文望遠鏡或粒子對撞機,不一而足。這些數據存在于封閉系統中,玩家都是傳統上做高性能計算的企業或機構。最著名的是歐洲核子研究中心的大型強子對撞機,此機不撞則已,一撞驚人,工作狀態下每秒產生PB級的數據。
互聯網大數據是目前這個時代的主流,尤其社交媒體被認為是大數據的爆發點。幾乎所有的大數據技術都起源于互聯網企業。所有這些企業當中,做搜索的最大,百度達到了千PB的規模,谷歌更大一些。臉譜網、雅虎等都在數百PB,亞馬遜、阿里巴巴應該也同在此列。
進入移動互聯網時代后,移動平臺的感知功能和LBS(基于位置的服務)的普及,使得互聯網數據與感知數據產生了重疊。同樣,企業數據和感知數據也有重合,如企業會部署物聯網收集感知數據。但感知數據的體量要大得多,甚至有預測感知數據的總量在2015年超過社交媒體,并達到后者的10—20倍。企業自身的數據比起十年前雖然沒有數量級的提升,但也得到了有機的增長:一方面,內部數據從結構化數據擴展到非結構化的數據,另一方面,更強調與新的外部數據源如社交媒體數據的融合。
大數據的價值在于獲得洞察力
記者:雖然有多種解讀,但業界一般認為,大數據有四個“V”字開頭的特征:Volume(體量), Velocity(速度), Variety(種類),Value(價值)。這其實也是大數據概念的組成。Volume是指大數據巨大的數據量與數據完整性;Velocity可以理解為更快地滿足實時性需求;Variety則意味著要在海量、種類繁多的數據間發現其內在關聯;Value最重要,它是大數據的最終意義——獲得洞察力和價值。簡單說,大數據4個V:就是體量大,快速化,類型雜,價值大。
張亞勤:體量容易理解。速度可以理解為更快地滿足實時性需求。數據的實時化需求正越來越清晰。對普通人而言,開車去吃飯,會先用移動終端中的地圖查詢餐廳的位置,預計行車路線的擁堵情況,了解停車場信息甚至是其他用戶對餐廳的評論。吃飯時,會用手機拍攝食物的照片,編輯簡短評論發布到微博或者微信上,還可以用LBS應用查找在同一間餐廳吃飯的人,看有沒有好友在附近……
通過各種有線和無線網絡,人和人、人和各種機器、機器和機器之間產生無處不在的連接,這些連接不可避免地帶來數據交換。而數據交換的關鍵是降低延遲,以近乎實時——意味著小于250毫秒的方式呈獻給用戶。
類型雜必然促使我們對海量數據進行分析、處理和集成,找出原本看來毫無關系的那些數據的關聯性,把似乎沒有用的數據變成有用的信息,以支持我們做出的判斷,最終形成大數據的價值——獲得洞察力和價值。
大數據的崛起,正是在人工智能、機器學習和數據挖掘等技術的迅速發展驅動下,呈現這么一個過程:將信號轉化為數據,將數據分析為信息,將信息提煉為知識,以知識促成決策和行動。所以真正好的大數據系統,重要的不是越多越好,其實越少越好,最終變成一個決策,這才是最關鍵的。
大數據開啟了一個新的世界,人們
責任編輯:廖生玨
-
權威發布 | 新能源汽車產業頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產業,設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數據中心 打造融合型綜合能源系統
2020-06-16綜合能源服務,新能源消納,能源互聯網
-
新基建助推 數據中心建設將迎爆發期
2020-06-16數據中心,能源互聯網,電力新基建 -
泛在電力物聯網建設下看電網企業數據變現之路
2019-11-12泛在電力物聯網 -
泛在電力物聯網建設典型實踐案例
2019-10-15泛在電力物聯網案例
-
權威發布 | 新能源汽車產業頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產業,設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長期助力儲能行業發展
-
探索 | 既耗能又可供能的數據中心 打造融合型綜合能源系統
2020-06-16綜合能源服務,新能源消納,能源互聯網 -
5G新基建助力智能電網發展
2020-06-125G,智能電網,配電網 -
從智能電網到智能城市