www涩-www黄网站-www黄色-www黄色com-国产免费拍拍视频在线观看网站-国产免费怕怕免费视频观看

大數據技術實施與應用

2014-04-17 14:35:09 比特網  點擊量: 評論 (0)
在發展歷程上,大數據與云計算很類似,開始都搞不清是什么概念,但有很多人在說,難免南轅北轍。一個非常有趣現象:會有很多人說大數據不是什么,但很少有人說是什么。但這都不妨礙大數據成為產業發展趨勢。 

       在發展歷程上,大數據與云計算很類似,開始都搞不清是什么概念,但有很多人在說,難免南轅北轍。一個非常有趣現象:會有很多人說大數據不是什么,但很少有人說是什么。但這都不妨礙大數據成為產業發展趨勢。

  當務之急是不糾纏于概念,直接關注有哪些應用可以落地,可以采用哪些大數據技術。

  技術三分天下

  傳統數據處理技術以數據庫技術為主,主要應用在聯機事物處理(OLTP)的應用場合,后來的數據倉庫、數據集市都是數據庫技術的發展和延伸。數據庫技術已經有30年的歷史,可以將其概括為一句話“一種架構支持所有應用”。數據庫技術以結構化數據為主,而結構化數據也是價值密度最高的數據。而半結構化數據、非結構化數據價值密度相對比較低,如果采用傳統數據庫技術處理這些數據,會被認為得不償失。

  大數據時代,以Hadoop為代表的NoSQL技術,以列式數據處理為代表的MPP NewSQL技術應運而生,為半結構化數據、非結構化數據提供了技術支撐基礎,以互聯網企業為代表,創造了各種新的商業模式,也開啟了大數據應用的時代。

  在大數據時代,對于分析類應用的需求不斷增加,特別對于傳統行業/企業,大數據分析需求首先包括結構化數據,這已經分析了30多年,如今結構化數據分析需要與各種半結構化數據、非結構化數據分析相結合,用全數據的視野,指導行業/企業的業務應用和實踐。這就導致一種架構難以完全滿足大數據的需求,“多種架構支持多類應用”就成為了大數據處理應用的基本思路,出現了OldSQL、NewSQL和NoSQL三分天下的市場格局。

  傳統OldSQL數據庫以Oracle、IBM DB2、Sybase等為主,NewSQL以EMC Greenplum、HP Vertica、SAPSybaseIQ、Teradata、IBM Netezza、微軟PDW以及南大通用的Gbase 8a 為主;而NoSQL包括Cassandra、Mon goDB、CouchDB、Redis、Riak和Hbase等,豐富的產品技術為用戶提供了豐富的選擇。

  混搭不可避免

  大數據應用采用多種架構支撐不可避免。據中國移動業務支撐系統部高級工程師何鴻凌介紹,中國移動就采用了MPP和Hadoop混搭架構,配合原有數據倉系統,開展大數據的應用。其中,傳統DW(數據倉庫)做高價值數據,也就是結構化數據的加工,MPP做長期結構化數據的存儲和自助分析,Hadoop用于非結構化數據處理、挖掘和歷史存儲。

  何鴻凌表示,MPP是將傳統分布式數據庫的理論運行在X86上的實踐,用列存、內存和副本等進行了優化。MPP基本可以替代傳統DW,但在大數據時代,還是有挑戰。那就是由于它精確地進行數據分布的原因,可擴展性和高可用比較難以達到。按照CAP理論,一種系統不可能什么都追求。因此國內較大的MPP集群也就幾十個節點,國際上可以看到100~200節點的集群。根據中國移動數據處理得需求,起碼也需要300~400個節點。

  “大數據主要是要應用,而現在很多的應用都不是由IT開發的,是自助的,這就需要MPP中要提供沙盒,讓業務部門或第三方能自助地分析和開發。我們當然不希望每個沙盒都是物理的MPP集群,這樣不僅安裝維護復雜,而且會造成數據重復。所以我們希望的是讓MPP的能力像云計算那樣對外提供按需服務,實現虛擬化。”他說。

  談到Hadoop,中國移動認為Hbase和HDFS很好,但Map/Reduce使用起來需要一些技術能力,Hadoop 2.0中Map/Reduce已經不再是唯一的執行框架,而縮減為Yarn框架下的一個應用了。對于Hadooperyan,其優勢在于數據處理的成本,較之數據倉庫內廉價很多,但在效率上還有差距,這是其數據分布策略所造成所的,這也是為什么中國移動還要選擇MPP進行混搭因。

  Hadoop技術難點主要是在Map/Reduce、各個作業之間都需要落地到HDFS上,這個效率會很差,而且沒有全局優化。Spark解決了這些問題,包括用內存緩存、流水線和全局優化,因此中國移動用Spark作為處理引擎。據了解,中國移動準備將長期數據放到Hadoop上做自助查詢,既能縮小MPP的規模,也能降低成本,當然這樣的查詢效率就不如在MPP上了。

  大數據應用落地情況

  混搭也好,多種模式也好,運用這些框架和技術手段的大數據應用,究竟會對現有模式產生哪些影響呢?大數據應用又是怎么樣落地接地氣的呢?也許中國移動的大數據應用實踐會給我們一些啟示。

總結來看,中國移動大數據應用有三個方面:一是讓中國移動現有商業模式更加有競爭力;二是發掘新的商業模式,讓別的行

大云網官方微信售電那點事兒

責任編輯:張星光

免責聲明:本文僅代表作者個人觀點,與本站無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。
我要收藏
個贊
?
主站蜘蛛池模板: 看一级毛片 | 亚洲国产国产综合一区首页 | 午夜国产精品久久久久 | 亚洲成人免费在线 | 色樱桃影院亚洲精品影院 | 中文字幕一区中文亚洲 | 亚洲手机国产精品 | 欧美日本在线三级视频 | 美女张开大腿让男人桶 | 国产精品成人免费视频不卡 | 私人毛片免费高清影视院丶 | aaa在线| 免费国产成人高清在线看软件 | 呦女亚洲一区精品 | 偷窥女厕国产在线视频 | 京东一热本色道久久爱 | 国产成人精品午夜免费 | 欧美在线视 | 久久这里只有精品视频99 | 久久亚洲欧洲日产国码 | 日本一级特黄aa毛片免费观看 | 欧美aaaaaaaaa| 国产精品一区二区三区免费 | 免费观看欧美成人h | 成人夜色香网站在线观看 | 国产视频日韩 | 福利片免费一区二区三区 | 久久道| 伊人久久精品午夜 | 亚洲另类自拍 | 国产高清一区二区三区免费视频 | 午夜伦y4480影院中文字幕 | 欧美日韩中文字幕在线观看 | 免费午夜不卡毛片 | 久久www免费人成看国产片 | 国产一区二区三区久久 | 国产91香蕉在线精品 | 亚洲国产精品影院 | 久操视频免费在线观看 | 成年人免费观看的视频 | 午夜视频国产 |