大數據處在青春期
現在的大數據(公司)就像一個懵懵懂懂的青春期少年,充滿活力和想象力,但卻遠未達到成熟。它的潛在價值讓人著迷,但世人依然不知何處才是他將一展身手的舞臺。 維克托?邁爾?舍恩伯格的《大數據時
現在的大數據(公司)就像一個懵懵懂懂的青春期少年,充滿活力和想象力,但卻遠未達到成熟。它的潛在價值讓人著迷,但世人依然不知何處才是他將一展身手的舞臺。
維克托?邁爾?舍恩伯格的《大數據時代》被國人奉為經典,其觀點被反復引用,出現在各類文章之中,但也引起了不小的爭議。但本文不是對《大數據時代》的批判,而是從數據分析發展的維度去探討大數據的朦朧面目。
大數據的興起不過是最近幾年的事情,大量的案例都與互聯網科技公司相關,其代表性的軟件和算法都與谷歌和雅虎公司的科技人員密不可分。對于這些科技人員來說,“數據”幾乎與”大數據“同義,而他們的主要工作就是通過根據這些海量的數據進行“推薦”——即將A匹配給B,如把合適網頁匹配給關鍵詞,把特定廣告匹配給特定用戶等等。而要做好匹配,則必須對于數據間的相關性進行研究…… 看過《大數據時代》的同志們,看到這里有沒有獲得一些啟發呢?
為什么除了互聯網公司外,其他公司都對“大數據”興趣寥寥呢?這是因為現實中,許多數重要的數據集都是小數據,比如財務數據,銷售數據等等,而擁有大量數據的金融和醫藥行業本就沒有停止過數據應用。商業環境的改變遠非一朝一夕,如何將大數據應用到傳統行業中遠比買一堆設備來存儲個全數據要難得多。
另一方面,大數據并不一定更好,濫用大數據只會產生更糟糕的效果,比如只要數據量足夠大,任何變量之間總能找到某種相關性。傳統統計學的驚人之處在于你只需要一個很小的樣本,就能對總體做出一個明確的描述。精選一個合適的樣本很有可能勝過一個混亂的大數據集所得到的結果。事實上,在很多情況中,采集100%的數據得到的預測模型精度可能就比采集10%的數據得到的模型高1%不到。
大數據還處于青春期,對其下定論顯然為時過早,但目前的趨勢表明它與較大規模的傳統數據分析截然不同。傳統的統計學和數據分析方法是歸納性的——根據部分對總體進行判斷;從樣本來估計總體的范圍;通過一些觀察來給整個系統設定一種理論。與此相反,大數據看起來關心的主要是單個數據點。已知某個特定的用戶喜歡某部特定的電源,那么他還可能喜歡其他哪些電影?這個問題截然不同于問哪些電影通常更可能受哪些人喜歡?
正像青春期的少年容易被引入歧途,大數據的能力也有可能被不懷好意的人所利用。翻看各種應用案例不難發現大數據的主要數據來源是人的行為——從瀏覽了哪些網頁,到去過哪些地方,數不勝數。通過對一個個人的數據分析(而不是對一個群體的分析),可以用來做定向廣告,也可以用來提高體有患大病風險者的保險價格,乃至向管理層預警有可能跳槽或者上班開小差的員工。大數據要成為一樣對人類社會有用的工具,離不開一套完善的隱私保護體系,目前這方面的工作遠沒有達到被重視的程度。
責任編輯:何健
免責聲明:本文僅代表作者個人觀點,與本站無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。
我要收藏
個贊
-
曹志剛:我們期待風電成為中國的主力能源
2020-11-17風電,能源,主力能源 -
張鈞:未來配電網內涵特征與發展框架研究
2020-11-03配電網,智能配電網,智能配電網建設研討會 -
習近平:持續增強電力裝備、新能源等領域的全產業鏈優勢
2020-11-02電力裝備,新能源,通信設備
-
曹志剛:我們期待風電成為中國的主力能源
2020-11-17風電,能源,主力能源 -
張鈞:未來配電網內涵特征與發展框架研究
2020-11-03配電網,智能配電網,智能配電網建設研討會 -
杜祥琬:創新觀念,推動能源高質量發展
2020-09-28能源,創新,觀點
-
PPT丨王繼業:電力系統儲能發展與挑戰
2020-10-14儲能,電力儲能,儲能應用 -
奮斗姿態書寫人生底色 銀隆儲能“小哥哥”的職場進擊姿勢
2020-10-12銀隆新能源,儲能,新能源汽車 -
鄒驥:通過發展清潔能源 提高中國公信力
2020-06-28鄒驥,清潔能源,綠色低碳能源
-
習近平:持續增強電力裝備、新能源等領域的全產業鏈優勢
2020-11-02電力裝備,新能源,通信設備 -
重磅 | 發改委發文7月起電價降5%
2020-06-29國家發改委,企業,用電成本,電費 -
李克強:放寬配售電業務市場準入 推動建立市場決定能源價格機制
2019-10-12配售電業務市場準入