大數據時代來臨 中國準備好了嗎
美國社會思想家托夫勒在《第三次浪潮》中提出,如果說IBM的主機拉開了信息化革命的大幕,那么‘大數據’才是第三次浪潮的華彩樂章。大數據以其淺顯易懂的概念、廣泛的潛在應用需求和可展望的巨
美國社會思想家托夫勒在 《第三次浪潮》中提出,“如果說IBM的主機拉開了信息化革命的大幕,那么‘大數據’才是第三次浪潮的華彩樂章。”大數據以其“淺顯易懂”的概念、廣泛的潛在應用需求和可展望的巨大經濟社會效益,正成為繼云計算、物聯網之后信息技術領域的又一熱點,并將在社會經濟各領域產生深刻影響。
麥肯錫全球研究院 (MGI)于2011年6月發布了題為《大數據:下一個創新、競爭和生產力的前沿》的研究報告,最早提出“大數據時代已經到來”,并從經濟角度引發全球對大數據的關注。報告指出,當前大數據規模以及其存儲容量正在迅速增長,已經滲透到各個行業和業務職能領域,成為可以與物質資產和人力資本相提并論的重要的生產要素。大數據是繼傳統IT之后下一個提高生產率的技術前沿。只要具有適當的政策推動,大數據的使用將成為未來提高競爭力、生產力、創新能力以及創造消費者盈余的關鍵要素,成為領軍企業與其他企業之間最大的顯著差別。那些沒有引入新的分析技術和新的數據類型的企業,不太可能成為其行業的領軍者。
2012年3月,美國奧巴馬政府宣布推出 “大數據的研究和發展計劃”。該計劃涉及美國國家科學基金、美國國家衛生研究院、美國能源部、美國國防部、美國國防部高級研究計劃局、美國地質勘探局等6個聯邦政府部門,承諾將投資兩億多美元,大力推動和改善與大數據相關的收集、組織和分析工具及技術,以推進從大量的、復雜的數據集合中獲取知識和洞見的能力。美國奧巴馬政府宣布投資大數據領域,是大數據從商業行為上升到國家戰略的分水嶺,表明大數據正式提升到戰略層面,大數據在經濟社會各個層面、各個領域都開始受到重視。
大數據的三重內涵
大數據在業內并沒有統一的定義。不同廠商、不同用戶,站的角度不同,對大數據的理解也不一樣。麥肯錫報告中對大數據的基本定義是:大數據是指其大小超出了典型數據庫軟件的采集、儲存、管理和分析等能力的數據集合。賽迪智庫指出,大數據是一個相對的概念,并沒有一個嚴格的標準限定多大規模的數據集合才稱得上是大數據。事實上,隨著時間推移和數據管理與處理技術的進步,符合大數據標準的數據集合的規模也在并將繼續增長。同時,對于不同行業領域和不同應用而言,“大數據”的規模也不統一。
雖然“大數據”直接代表的是數據集合這一靜態對象,但賽迪智庫經過深入研究認為,目前所提到的“大數據”,并不僅僅是大規模數據集合本身,而應當是數據對象、技術與應用三者的統一:
1.從對象角度看,大數據是大小超出典型數據庫軟件采集、儲存、管理和分析等能力的數據集合。需要注意的是,大數據并非大量數據簡單、無意義的堆積,數據量大并不意味著一定具有可觀的利用前景。由于最終目標是從大數據中獲取更多有價值的“新”信息,所以必然要求這些大量的數據之間存在著或遠或近、或直接或間接的關聯性,才具有相當的分析挖掘價值。數據間是否具有結構性和關聯性,是 “大數據”與“大規模數據”的重要差別。
2.從技術角度看,大數據技術是從各種各樣類型的大數據中,快速獲得有價值信息的技術及其集成。“大數據”與“大規模數據”、“海量數據”等類似概念間的最大區別,就在于“大數據”這一概念中包含著對數據對象的處理行為。為了能夠完成這一行為,從大數據對象中快速挖掘更多有價值的信息,使大數據“活起來”,就需要綜合運用靈活的、多學科的方法,包括數據聚類、數據挖掘、分布式處理等,而這就需要擁有對各類技術、各類軟硬件的集成應用能力。可見,大數據技術是使大數據中所蘊含的價值得以發掘和展現的重要工具。
3.從應用角度看,大數據是對特定的大數據集合、集成應用大數據技術、獲得有價值信息的行為。正由于與具體應用緊密聯系,甚至是一對一的聯系,才使得“應用”成為大數據不可或缺的內涵之一。
需要明確的是,大數據分析處理的最終目標,是從復雜的數據集合中發現新的關聯規則,繼而進行深度挖掘,得到有效用的新信息。如果數據量不小,但數據結構簡單,重復性高,分析處理需求也僅僅是根據已有規則進行數據分組歸類,未與具體業務緊密結合,依靠已有基本數據分析處理技術已足夠,則不能算作是完全的“大數據”,只是“大數據”的初級發展階段。
大數據對信息產業的影響
大數據的熱潮興起于新一代信息技術的融合發展,物聯網、移動互聯網、數字家庭、社會化網絡等應用使得數據規模快速擴大,對大數據的處理和分析的需求日益旺盛,推動了大數據領域的發展。反過來,大數據的分析、優化結果又反饋到這些應用中,進一步改善其使用體驗,支撐和推動新一代信息技術產業的發展。
賽迪智庫 《軟件與信息服務研究》指出,大數據將為信息產業帶來新的增長點。IDC預測,全球數據在2015年將達到10萬億TB。面對爆發式增長的海量數據,基于傳統架構的信息系統已難以應對,同時傳統商業智能系統和數據分析軟件面對以視頻、圖片、文字等非結構化數據為主的大數據時,也缺少有效的分析工具和方法。信息系統普遍面臨升級換代的迫切需求為信息產業帶來新的、更為廣闊的增長點。
同時,大數據將加速信息技術產品的創新融合發展。大數據面臨著有效存儲、實時分析等挑戰,必將對芯片、存儲產業產生重要影響,將推動一體化數據存儲處理服務器、內存計算等產品的升級創新。對數據快速處理和分析的需求,將推動商業智能、數據挖掘等軟件在企業級的信息系統中得到融合應用,成為業務創新的重要手段。
大數據對經濟領域的影響
大數據作為一種重要的戰略資產,已經不同程度地滲透到每個行業領域和部門,其深度應用不僅有助于企業經營活動,還有利于推動國民經濟發展。麥肯錫研究表明,在醫療、零售和制造業領域,大數據可以每年提高勞動生產率0.5—1個百分點。
賽迪智庫 《軟件與信息服務研究》指出,在宏觀層面,大數據使經濟決策部門可以更敏銳地把握經濟走向,制定并實施科學的經濟政策。事實表明,電子商務集團阿里巴巴就從其掌握的大量交易數據中更早發現了國際金融危機的到來,而其基于每天實時交易數據提供的數據分析,也為制定并實施經濟政策提供了重要參考。聯合國發起的“全球脈動”(GlobalPulse)項目,使用自然語言解密軟件分析社交網站和文本消息中的信息,從而幫助預測某個地區的失業率、支出削減或是疾病爆發等現象,目標在于利用數字化的早期預警信號來提前指導援助項目,以阻止某個地區重新陷入貧困等困境。
而在微觀方面,大數據可以提高企業經營決策水平和效率,推動創新,給企業、行業領域帶來價值。一是增加收入。零售商可通過對海量數據的實時分析掌握市場動態并迅速做出應對,通過精準營銷增加營業收入;二是提高效率。在制造業,通過整合來自研發、工程和制造部門的數據以便實行并行工程,可以顯著縮短產品上市時間并提高質量;在市場和營銷方面,大數據能夠幫助消費者在更合理的價格范圍內找到更合適的產品來滿足自身的需求,提高附加值。三是推動創新。企業可從產品開發、生產和銷售的歷史大數據中找到創新的源泉,從客戶和消費者的大數據中尋找新的合作伙伴,以及從售后反饋的大數據中發現額外的增值服務,從而改善現有產品和服務,創新業務模式。
對大數據發展的總體判斷
賽迪智庫認為,數據分析是大數據的核心,數據分析技術是大數據技術的核心。但由于數據分析技術與人工智能、商業智能等相關聯,而這些領域在過去若干年內的進展相對遲緩,并未進入成熟應用階段,在未來是否能夠實現長足發展也未可知。這就決定了大數據發展也處于起步期,而當前所設想的美好應用藍圖能否快速實現也難以確定。
對于大數據發展,應借鑒“大膽假設、小心求證”的科學研究思路,既高度重視大數據發展的戰略意義,盡早布局,搶位發展,又要正視大數據發展面臨的巨大困難和挑戰,確定科學、現實的發展目標和任務內容,把握大數據發展核心環節和關鍵領域,堅持“數據、技術、應用”三位一體的發展策略,穩步推進。同時,堅持“有所為有所不為”和“適時而動”的科學態度,對有一定基礎的工作加速推進,對大數據相關政策法規、標準規范制定等條件尚不成熟的工作,先跟蹤研究,以便今后條件成熟時能及時開展。
同時,鑒于大數據應用具有“一對一”的特性,且各行業領域、各部門和各地區的大數據強度都不同,務必需要結合自身的發展實際,不盲目跟風,在已有基礎設施條件和軟件配備下,循序漸進地開展相關工作,使“大數據”工作有名有實。
麥肯錫全球研究院 (MGI)于2011年6月發布了題為《大數據:下一個創新、競爭和生產力的前沿》的研究報告,最早提出“大數據時代已經到來”,并從經濟角度引發全球對大數據的關注。報告指出,當前大數據規模以及其存儲容量正在迅速增長,已經滲透到各個行業和業務職能領域,成為可以與物質資產和人力資本相提并論的重要的生產要素。大數據是繼傳統IT之后下一個提高生產率的技術前沿。只要具有適當的政策推動,大數據的使用將成為未來提高競爭力、生產力、創新能力以及創造消費者盈余的關鍵要素,成為領軍企業與其他企業之間最大的顯著差別。那些沒有引入新的分析技術和新的數據類型的企業,不太可能成為其行業的領軍者。
2012年3月,美國奧巴馬政府宣布推出 “大數據的研究和發展計劃”。該計劃涉及美國國家科學基金、美國國家衛生研究院、美國能源部、美國國防部、美國國防部高級研究計劃局、美國地質勘探局等6個聯邦政府部門,承諾將投資兩億多美元,大力推動和改善與大數據相關的收集、組織和分析工具及技術,以推進從大量的、復雜的數據集合中獲取知識和洞見的能力。美國奧巴馬政府宣布投資大數據領域,是大數據從商業行為上升到國家戰略的分水嶺,表明大數據正式提升到戰略層面,大數據在經濟社會各個層面、各個領域都開始受到重視。
大數據的三重內涵
大數據在業內并沒有統一的定義。不同廠商、不同用戶,站的角度不同,對大數據的理解也不一樣。麥肯錫報告中對大數據的基本定義是:大數據是指其大小超出了典型數據庫軟件的采集、儲存、管理和分析等能力的數據集合。賽迪智庫指出,大數據是一個相對的概念,并沒有一個嚴格的標準限定多大規模的數據集合才稱得上是大數據。事實上,隨著時間推移和數據管理與處理技術的進步,符合大數據標準的數據集合的規模也在并將繼續增長。同時,對于不同行業領域和不同應用而言,“大數據”的規模也不統一。
雖然“大數據”直接代表的是數據集合這一靜態對象,但賽迪智庫經過深入研究認為,目前所提到的“大數據”,并不僅僅是大規模數據集合本身,而應當是數據對象、技術與應用三者的統一:
1.從對象角度看,大數據是大小超出典型數據庫軟件采集、儲存、管理和分析等能力的數據集合。需要注意的是,大數據并非大量數據簡單、無意義的堆積,數據量大并不意味著一定具有可觀的利用前景。由于最終目標是從大數據中獲取更多有價值的“新”信息,所以必然要求這些大量的數據之間存在著或遠或近、或直接或間接的關聯性,才具有相當的分析挖掘價值。數據間是否具有結構性和關聯性,是 “大數據”與“大規模數據”的重要差別。
2.從技術角度看,大數據技術是從各種各樣類型的大數據中,快速獲得有價值信息的技術及其集成。“大數據”與“大規模數據”、“海量數據”等類似概念間的最大區別,就在于“大數據”這一概念中包含著對數據對象的處理行為。為了能夠完成這一行為,從大數據對象中快速挖掘更多有價值的信息,使大數據“活起來”,就需要綜合運用靈活的、多學科的方法,包括數據聚類、數據挖掘、分布式處理等,而這就需要擁有對各類技術、各類軟硬件的集成應用能力。可見,大數據技術是使大數據中所蘊含的價值得以發掘和展現的重要工具。
3.從應用角度看,大數據是對特定的大數據集合、集成應用大數據技術、獲得有價值信息的行為。正由于與具體應用緊密聯系,甚至是一對一的聯系,才使得“應用”成為大數據不可或缺的內涵之一。
需要明確的是,大數據分析處理的最終目標,是從復雜的數據集合中發現新的關聯規則,繼而進行深度挖掘,得到有效用的新信息。如果數據量不小,但數據結構簡單,重復性高,分析處理需求也僅僅是根據已有規則進行數據分組歸類,未與具體業務緊密結合,依靠已有基本數據分析處理技術已足夠,則不能算作是完全的“大數據”,只是“大數據”的初級發展階段。
大數據對信息產業的影響
大數據的熱潮興起于新一代信息技術的融合發展,物聯網、移動互聯網、數字家庭、社會化網絡等應用使得數據規模快速擴大,對大數據的處理和分析的需求日益旺盛,推動了大數據領域的發展。反過來,大數據的分析、優化結果又反饋到這些應用中,進一步改善其使用體驗,支撐和推動新一代信息技術產業的發展。
賽迪智庫 《軟件與信息服務研究》指出,大數據將為信息產業帶來新的增長點。IDC預測,全球數據在2015年將達到10萬億TB。面對爆發式增長的海量數據,基于傳統架構的信息系統已難以應對,同時傳統商業智能系統和數據分析軟件面對以視頻、圖片、文字等非結構化數據為主的大數據時,也缺少有效的分析工具和方法。信息系統普遍面臨升級換代的迫切需求為信息產業帶來新的、更為廣闊的增長點。
同時,大數據將加速信息技術產品的創新融合發展。大數據面臨著有效存儲、實時分析等挑戰,必將對芯片、存儲產業產生重要影響,將推動一體化數據存儲處理服務器、內存計算等產品的升級創新。對數據快速處理和分析的需求,將推動商業智能、數據挖掘等軟件在企業級的信息系統中得到融合應用,成為業務創新的重要手段。
大數據對經濟領域的影響
大數據作為一種重要的戰略資產,已經不同程度地滲透到每個行業領域和部門,其深度應用不僅有助于企業經營活動,還有利于推動國民經濟發展。麥肯錫研究表明,在醫療、零售和制造業領域,大數據可以每年提高勞動生產率0.5—1個百分點。
賽迪智庫 《軟件與信息服務研究》指出,在宏觀層面,大數據使經濟決策部門可以更敏銳地把握經濟走向,制定并實施科學的經濟政策。事實表明,電子商務集團阿里巴巴就從其掌握的大量交易數據中更早發現了國際金融危機的到來,而其基于每天實時交易數據提供的數據分析,也為制定并實施經濟政策提供了重要參考。聯合國發起的“全球脈動”(GlobalPulse)項目,使用自然語言解密軟件分析社交網站和文本消息中的信息,從而幫助預測某個地區的失業率、支出削減或是疾病爆發等現象,目標在于利用數字化的早期預警信號來提前指導援助項目,以阻止某個地區重新陷入貧困等困境。
而在微觀方面,大數據可以提高企業經營決策水平和效率,推動創新,給企業、行業領域帶來價值。一是增加收入。零售商可通過對海量數據的實時分析掌握市場動態并迅速做出應對,通過精準營銷增加營業收入;二是提高效率。在制造業,通過整合來自研發、工程和制造部門的數據以便實行并行工程,可以顯著縮短產品上市時間并提高質量;在市場和營銷方面,大數據能夠幫助消費者在更合理的價格范圍內找到更合適的產品來滿足自身的需求,提高附加值。三是推動創新。企業可從產品開發、生產和銷售的歷史大數據中找到創新的源泉,從客戶和消費者的大數據中尋找新的合作伙伴,以及從售后反饋的大數據中發現額外的增值服務,從而改善現有產品和服務,創新業務模式。
對大數據發展的總體判斷
賽迪智庫認為,數據分析是大數據的核心,數據分析技術是大數據技術的核心。但由于數據分析技術與人工智能、商業智能等相關聯,而這些領域在過去若干年內的進展相對遲緩,并未進入成熟應用階段,在未來是否能夠實現長足發展也未可知。這就決定了大數據發展也處于起步期,而當前所設想的美好應用藍圖能否快速實現也難以確定。
對于大數據發展,應借鑒“大膽假設、小心求證”的科學研究思路,既高度重視大數據發展的戰略意義,盡早布局,搶位發展,又要正視大數據發展面臨的巨大困難和挑戰,確定科學、現實的發展目標和任務內容,把握大數據發展核心環節和關鍵領域,堅持“數據、技術、應用”三位一體的發展策略,穩步推進。同時,堅持“有所為有所不為”和“適時而動”的科學態度,對有一定基礎的工作加速推進,對大數據相關政策法規、標準規范制定等條件尚不成熟的工作,先跟蹤研究,以便今后條件成熟時能及時開展。
同時,鑒于大數據應用具有“一對一”的特性,且各行業領域、各部門和各地區的大數據強度都不同,務必需要結合自身的發展實際,不盲目跟風,在已有基礎設施條件和軟件配備下,循序漸進地開展相關工作,使“大數據”工作有名有實。
免責聲明:本文僅代表作者個人觀點,與本站無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。
我要收藏
個贊