未卜先知的神器:關于大數據的觀察與思考(上)
所有評論家都喜歡提到“尿片與啤酒”的故事,認為它是大數據分析的開始:1960年代,沃爾瑪連鎖超市研究銷售記錄發現,給孩子買紙尿片的男人都會順便買幾瓶啤酒。為此,超市在尿布旁邊擺上了啤酒架,方便顧客。這是半個世紀前的事了。
1980年代著名的未來學書籍《第三次浪潮》,預言未來信息時代必然有“big data(大數據)”應用。不過,就在5年前,網上百科全書Wikipedia還不愿開辟“big data”的詞條,認為這不過是兩個單詞的組合而已。當時網上普遍認為,大數據更多的是概念和憧憬,其志向不小,成就卻不多。
而就在近兩年,大數據應用突然爆炸,五彩繽紛的創意都變成現實。即使最謹慎的觀察家也承認,大數據的商業應用時代已經來臨,正因為它前所未有的能力——準確預測。
數據大爆發,帶來“新石油”
去年,演繹白宮政治的《紙牌屋》成了美國收視率第一的電視劇,這絲毫不出制片人的意料——計算機分析了多年的數據,發現一部電視劇如果具備三個元素,就必定大賣:導演大衛·芬奇、奧斯卡影帝凱文·史派西、BBC劇風格?!都埮莆荨肪褪窃跀祿笇拢绶ㄅ谥?,果然紅透半邊天。這個例子很能說明大數據應用的特點:從海量數據里發掘出從前沒意識到的聯系,并且將它轉化為利潤。
邁爾-舍恩伯格和庫克耶合著的《大數據時代》一書認為,數據量一旦變“大”,根據數據預測就會十分可靠,而不再是小數據時代的模糊推測了。他們認為,大數據的核心就是預測。
美國工程師愛奇奧尼搭飛機時,發現旁邊的旅客買票比他便宜。于是他開發了一個系統,預測機票價格的漲跌。截至2012年,他的“faircast”系統用網上的10萬億條價格記錄去推測機票何時價格為何,預測準確度達75%,幫助旅客平均每張機票節省50美元。
愛奇奧尼并不懂航空業,他所做的僅僅是查閱過去的數據,就能從中做出有價值的判斷。
還有一個例子廣為人知。google能從網民搜索關鍵詞中推斷出一場流感正在蔓延。工程師實驗了4.5億個不同的數學模型,最后發現,45條檢索詞條組合用于某個數學模型,與過去的流感數據十分吻合。由此,google第一時間發現了2009年甲型H1N1流感的傳播,比官方確認早一兩周。
無獨有偶,美國政府為了公布CPI數據,雇用很多人調查90個城市的8萬種價格信息,每年要花費2.5億美元。而麻省理工學院的兩位經濟學家,通過一個軟件在網上捕捉50萬種商品的價格信息去做同樣的事情。金融危機時,雷曼剛破產他們就發現了通貨緊縮的趨勢,比政府早發現兩個月。
大數據預測并不復雜,不論是價格預測,還是疫情預測,只要有海量的數據就行。Word程序中語法檢查使用的4種算法,隨著其依靠的數據量從500萬變為10億,表現都大為提高。彼得·諾威格,谷歌公司的人工智能專家寫道:“大數據基礎上的簡單算法比小數據基礎上的復雜算法更有效。”
但在“尿片與啤酒”的年代,10億條級別的信息量還很難獲得。人們只能建立數據庫,將一部分信息分門別類地入庫,其他的丟棄。直到最近,計算機處理速度的飛躍和低成本的存儲,才實現了“一切盡錄”,讓大數據分析成為現實。
目前,美國股市三分之二的交易,是計算機程序根據海量數據預測和自動做出的。由此來看,美國2012年3月的《大數據研究和發展計劃》中提出的“大數據是新石油”,并不完全是理想,已經部分成真。
記錄一個人的過去,就知道他的未來
即使是普通人也能注意到,各個領域收集的數據量都在爆發。人類存儲信息量的增長速度比經濟增速快4倍,而計算機數據處理能力的增速更比經濟增速快了9倍。
信息爆炸的端倪參見美國“斯隆數字巡天望遠鏡”:運行短短幾周,斯隆收集的數據比天文學歷史上總共的數據還多;而預計2016年,智利的“大視場全景巡天望遠鏡”5天就能收集同樣多的信息。不光是科學儀器,互聯網、視頻監控網,以及傳感器網(物聯網),都在提供海量信息。有人甚至預測,不需太久,信息爆炸造成的一年數據量就將超過人類歷史上積攢的所有數據量。
如今,一個人的電子郵件、手機通話記錄、網購記錄、網上發布內容等等,全都在各家公司的硬盤里存儲著;同時,他的行蹤被手機記下;身影被街頭的監控器捕捉……一旦這些數據串聯起來,這個人的一舉一動幾乎無從遁形。
讓人吃驚的是,根據《爆發》一書的作者巴拉巴西的論證,人的行為是高度重復和可預測的(巴拉巴西甚至算出,93%的行為是可預測的)。因此一旦明白了人的過去,就掌握了他的未來。
大大小小的機構,都想利用大數據時代這個神奇的現象獲利。其中一些對人類行為的預測,已經顯示出威力。今年的奧斯卡金像獎頒獎禮之前,微軟紐約研究院的大衛·羅斯柴爾德通過大數據分析,預測了各大獎項的歸屬。結果除了最佳導演獎外,他全部猜中。而他在2012年美國總統大選中,就根據過去的數據,準確預測了51個選區中50個地區的選舉結果。
大型超市Target公司根據20多種購買物,判斷顧客的孕期階段,并適時寄去推薦清單。有時,甚至顧客還不知道自己已經懷孕了,Target的系統就能從其購買偏好的改變上判斷出來。
美國一家個人消費評估公司推出了“遵從醫囑評分”,這個評分會幫助醫療機構知道哪些人更需要被提醒及時用藥。這個評分是分析一系列變量來確定的,比如某人在某地居住多久,是否結婚,多久換一個工作及有沒有私家車。
要知道一個人是否會及時吃藥,為何要查閱他的工作簡歷或者私家車?誰都說不上來。但事實是,只要過去的數據顯示,有私家車、很少換工作的人更愿意按時服藥,那么今后肯定也是如此。
而微軟跟華盛頓中心醫院合作,發現充血性心力衰竭病人如果初診中有類似“壓抑”這種暗示心理疾病的詞,再度入院的可能性也會增大。
知道如此就夠了,不必問為何如此
《大數據時代》一書中強調,大數據不關心“因果”,只在乎“相關”。這一點也被此書的擁躉們反復強調。因為大數據分析,人們理解世界,不再需要探討“內在機理”。大數據不是教機器像人一樣思考,而是簡單的數學算法用在海量數據上,讓數據自己說話。
在最難確定因果關系的人體科學領域,大數據分析同樣屢有斬獲。中英人壽保險公司用幾百種生活方式的數據,比如愛好、常瀏覽的網站、常看的節目以及收入等,找出更可能患高血壓、糖尿病和抑郁癥的人。
丹麥癌癥協會2011年發表文章,利用1985年以來的全部手機用戶數據,與同期所有癌癥患者數據結合來看,發現癌癥跟使用手機并沒有關系。
還有美國研究者通過16個不同數據,發現早產兒穩定的生命體征不是病情好轉的標志,而是暴風雨前的寧靜。研究者并不知道具體原因,只知道數據顯示出是如此。
有了大數據,分析不必知其所以然。著名的谷歌翻譯小組,竟然不需要語言學家。他們完全是讓計算機根據網上的數據,去判斷一段英文可能對應于哪一段中文。一開始這種翻譯質量不會太好,隨著信息量的增加,機器會翻譯得越來越讓人滿意。
有了大數據,分析也不需要太精確,因為批量處理允許瑕疵存在。ZestFinance是一家由計算機決定是否為客戶提供貸款的公司。它的客戶信息表中有大量空白。甚至有10%的客戶屬性是“已去世”,這顯然是錯的,實際上這些客戶是還貸款的。這家公司不會太精確地對待它的數據,然而其貸款拖欠率比行業平均水平低三分之一。
責任編輯:小沈
-
權威發布 | 新能源汽車產業頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產業,設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數據中心 打造融合型綜合能源系統
2020-06-16綜合能源服務,新能源消納,能源互聯網
-
新基建助推 數據中心建設將迎爆發期
2020-06-16數據中心,能源互聯網,電力新基建 -
泛在電力物聯網建設下看電網企業數據變現之路
2019-11-12泛在電力物聯網 -
泛在電力物聯網建設典型實踐案例
2019-10-15泛在電力物聯網案例
-
權威發布 | 新能源汽車產業頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產業,設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長期助力儲能行業發展
-
探索 | 既耗能又可供能的數據中心 打造融合型綜合能源系統
2020-06-16綜合能源服務,新能源消納,能源互聯網 -
5G新基建助力智能電網發展
2020-06-125G,智能電網,配電網 -
從智能電網到智能城市