www涩-www黄网站-www黄色-www黄色com-国产免费拍拍视频在线观看网站-国产免费怕怕免费视频观看

未卜先知的神器:關于大數據的觀察與思考(上)

2013-11-20 11:37:40 中國科技網  點擊量: 評論 (0)
所有評論家都喜歡提到尿片與啤酒的故事,認為它是大數據分析的開始:1960年代,沃爾瑪連鎖超市研究銷售記錄發現,給孩子買紙尿片的男人都會順便買幾瓶啤酒。為此,超市在尿布旁邊擺上了啤酒架,方便顧客。這是

近兩年,大數據應用突然爆炸,五彩繽紛的創意都變成現實

       所有評論家都喜歡提到“尿片與啤酒”的故事,認為它是大數據分析的開始:1960年代,沃爾瑪連鎖超市研究銷售記錄發現,給孩子買紙尿片的男人都會順便買幾瓶啤酒。為此,超市在尿布旁邊擺上了啤酒架,方便顧客。這是半個世紀前的事了。
     1980年代著名的未來學書籍《第三次浪潮》,預言未來信息時代必然有“big data(大數據)”應用。不過,就在5年前,網上百科全書Wikipedia還不愿開辟“big data”的詞條,認為這不過是兩個單詞的組合而已。當時網上普遍認為,大數據更多的是概念和憧憬,其志向不小,成就卻不多。
      而就在近兩年,大數據應用突然爆炸,五彩繽紛的創意都變成現實。即使最謹慎的觀察家也承認,大數據的商業應用時代已經來臨,正因為它前所未有的能力——準確預測。
數據大爆發,帶來“新石油”
      去年,演繹白宮政治的《紙牌屋》成了美國收視率第一的電視劇,這絲毫不出制片人的意料——計算機分析了多年的數據,發現一部電視劇如果具備三個元素,就必定大賣:導演大衛·芬奇、奧斯卡影帝凱文·史派西、BBC劇風格?!都埮莆荨肪褪窃跀祿笇拢绶ㄅ谥?,果然紅透半邊天。這個例子很能說明大數據應用的特點:從海量數據里發掘出從前沒意識到的聯系,并且將它轉化為利潤。
      邁爾-舍恩伯格和庫克耶合著的《大數據時代》一書認為,數據量一旦變“大”,根據數據預測就會十分可靠,而不再是小數據時代的模糊推測了。他們認為,大數據的核心就是預測。
      美國工程師愛奇奧尼搭飛機時,發現旁邊的旅客買票比他便宜。于是他開發了一個系統,預測機票價格的漲跌。截至2012年,他的“faircast”系統用網上的10萬億條價格記錄去推測機票何時價格為何,預測準確度達75%,幫助旅客平均每張機票節省50美元。
      愛奇奧尼并不懂航空業,他所做的僅僅是查閱過去的數據,就能從中做出有價值的判斷。
     還有一個例子廣為人知。google能從網民搜索關鍵詞中推斷出一場流感正在蔓延。工程師實驗了4.5億個不同的數學模型,最后發現,45條檢索詞條組合用于某個數學模型,與過去的流感數據十分吻合。由此,google第一時間發現了2009年甲型H1N1流感的傳播,比官方確認早一兩周。
     無獨有偶,美國政府為了公布CPI數據,雇用很多人調查90個城市的8萬種價格信息,每年要花費2.5億美元。而麻省理工學院的兩位經濟學家,通過一個軟件在網上捕捉50萬種商品的價格信息去做同樣的事情。金融危機時,雷曼剛破產他們就發現了通貨緊縮的趨勢,比政府早發現兩個月。
     大數據預測并不復雜,不論是價格預測,還是疫情預測,只要有海量的數據就行。Word程序中語法檢查使用的4種算法,隨著其依靠的數據量從500萬變為10億,表現都大為提高。彼得·諾威格,谷歌公司的人工智能專家寫道:“大數據基礎上的簡單算法比小數據基礎上的復雜算法更有效。”
     但在“尿片與啤酒”的年代,10億條級別的信息量還很難獲得。人們只能建立數據庫,將一部分信息分門別類地入庫,其他的丟棄。直到最近,計算機處理速度的飛躍和低成本的存儲,才實現了“一切盡錄”,讓大數據分析成為現實。
    目前,美國股市三分之二的交易,是計算機程序根據海量數據預測和自動做出的。由此來看,美國2012年3月的《大數據研究和發展計劃》中提出的“大數據是新石油”,并不完全是理想,已經部分成真。
記錄一個人的過去,就知道他的未來
     即使是普通人也能注意到,各個領域收集的數據量都在爆發。人類存儲信息量的增長速度比經濟增速快4倍,而計算機數據處理能力的增速更比經濟增速快了9倍。
     信息爆炸的端倪參見美國“斯隆數字巡天望遠鏡”:運行短短幾周,斯隆收集的數據比天文學歷史上總共的數據還多;而預計2016年,智利的“大視場全景巡天望遠鏡”5天就能收集同樣多的信息。不光是科學儀器,互聯網、視頻監控網,以及傳感器網(物聯網),都在提供海量信息。有人甚至預測,不需太久,信息爆炸造成的一年數據量就將超過人類歷史上積攢的所有數據量。
     如今,一個人的電子郵件、手機通話記錄、網購記錄、網上發布內容等等,全都在各家公司的硬盤里存儲著;同時,他的行蹤被手機記下;身影被街頭的監控器捕捉……一旦這些數據串聯起來,這個人的一舉一動幾乎無從遁形。
     讓人吃驚的是,根據《爆發》一書的作者巴拉巴西的論證,人的行為是高度重復和可預測的(巴拉巴西甚至算出,93%的行為是可預測的)。因此一旦明白了人的過去,就掌握了他的未來。
     大大小小的機構,都想利用大數據時代這個神奇的現象獲利。其中一些對人類行為的預測,已經顯示出威力。今年的奧斯卡金像獎頒獎禮之前,微軟紐約研究院的大衛·羅斯柴爾德通過大數據分析,預測了各大獎項的歸屬。結果除了最佳導演獎外,他全部猜中。而他在2012年美國總統大選中,就根據過去的數據,準確預測了51個選區中50個地區的選舉結果。
     大型超市Target公司根據20多種購買物,判斷顧客的孕期階段,并適時寄去推薦清單。有時,甚至顧客還不知道自己已經懷孕了,Target的系統就能從其購買偏好的改變上判斷出來。
     美國一家個人消費評估公司推出了“遵從醫囑評分”,這個評分會幫助醫療機構知道哪些人更需要被提醒及時用藥。這個評分是分析一系列變量來確定的,比如某人在某地居住多久,是否結婚,多久換一個工作及有沒有私家車。
     要知道一個人是否會及時吃藥,為何要查閱他的工作簡歷或者私家車?誰都說不上來。但事實是,只要過去的數據顯示,有私家車、很少換工作的人更愿意按時服藥,那么今后肯定也是如此。
     而微軟跟華盛頓中心醫院合作,發現充血性心力衰竭病人如果初診中有類似“壓抑”這種暗示心理疾病的詞,再度入院的可能性也會增大。
知道如此就夠了,不必問為何如此
    《大數據時代》一書中強調,大數據不關心“因果”,只在乎“相關”。這一點也被此書的擁躉們反復強調。因為大數據分析,人們理解世界,不再需要探討“內在機理”。大數據不是教機器像人一樣思考,而是簡單的數學算法用在海量數據上,讓數據自己說話。
     在最難確定因果關系的人體科學領域,大數據分析同樣屢有斬獲。中英人壽保險公司用幾百種生活方式的數據,比如愛好、常瀏覽的網站、常看的節目以及收入等,找出更可能患高血壓、糖尿病和抑郁癥的人。
     丹麥癌癥協會2011年發表文章,利用1985年以來的全部手機用戶數據,與同期所有癌癥患者數據結合來看,發現癌癥跟使用手機并沒有關系。
     還有美國研究者通過16個不同數據,發現早產兒穩定的生命體征不是病情好轉的標志,而是暴風雨前的寧靜。研究者并不知道具體原因,只知道數據顯示出是如此。
     有了大數據,分析不必知其所以然。著名的谷歌翻譯小組,竟然不需要語言學家。他們完全是讓計算機根據網上的數據,去判斷一段英文可能對應于哪一段中文。一開始這種翻譯質量不會太好,隨著信息量的增加,機器會翻譯得越來越讓人滿意。
     有了大數據,分析也不需要太精確,因為批量處理允許瑕疵存在。ZestFinance是一家由計算機決定是否為客戶提供貸款的公司。它的客戶信息表中有大量空白。甚至有10%的客戶屬性是“已去世”,這顯然是錯的,實際上這些客戶是還貸款的。這家公司不會太精確地對待它的數據,然而其貸款拖欠率比行業平均水平低三分之一。
 

大云網官方微信售電那點事兒

責任編輯:小沈

免責聲明:本文僅代表作者個人觀點,與本站無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。
我要收藏
個贊
?
主站蜘蛛池模板: 日本a一级片| 99久久99视频| 老司机精品影院一区二区三区| 欧美α一级毛片| 国产欧美日韩在线人成aaaa| 中文字幕在线观看一区二区三区| 日本三级香港三级人妇 m| 国产精品夜色视频一级区| 日韩精品久久久毛片一区二区| 国内精品福利在线视频| 在线成人97观看| 午夜专区| 欧美亚洲视频一区| 97视频在线观看免费| 免费精品久久久视频| 99久久精品国产亚洲| 免费三级网| 亚欧精品一区二区三区| 国产日韩精品一区二区三区| 亚洲欧美韩国| 国产麻豆福利a v在线播放| 欧美日韩a∨毛片一区| 成人永久福利在线观看不卡| 欧美三级日韩| 特级淫片日本高清视频| 国产成人免费影片在线观看| 日韩欧美成人乱码一在线| 女让张开腿让男人桶视频| 亚洲欧美日韩成人一区在线| 韩国美女豪爽一级毛片| 午夜精品尤物福利视频在线| 中国三级毛片| 国产香港特级一级毛片| 日韩欧美精品在线观看| 一本久道久久综合婷婷五| 国产精品久久福利网站| 欧美在线视频免费| 日本国产在线| 在线一区视频| 1024香蕉视频在线播放| 国产啪在线|