www涩-www黄网站-www黄色-www黄色com-国产免费拍拍视频在线观看网站-国产免费怕怕免费视频观看

Google大數據技術架構探秘

2013-10-30 08:57:42 WEB開發者  點擊量: 評論 (0)
Google是大數據時代的奠基者,其大數據技術架構一直是互聯網公司爭相學習和研究的重點,也是行業大數據技術架構的標桿和示范。1、谷歌的數據中心谷歌已經建立了世界上最快、最強大、最高質量的數據中心,它的8個

Google是大數據時代的奠基者,其大數據技術架構一直是互聯網公司爭相學習和研究的重點,也是行業大數據技術架構的標桿和示范。

1、谷歌的數據中心

谷歌已經建立了世界上最快、最強大、最高質量的數據中心,它的8個主要數據中心都遠離其位于加州山景城的總部,分別位于美國南卡羅來納州的伯克利郡,愛荷華州的康瑟爾布拉夫斯,喬治亞州的道格拉斯郡,俄克拉荷馬州的梅斯郡,北卡羅來納州的勒努瓦,俄勒岡州的達爾斯;另外2個在美國境外,分別是芬蘭的哈米納和比利時的圣吉斯蘭。此外,谷歌公司還在中國香港和中國臺灣,以及新加坡和智利建立了數據中心。

 


   2、谷歌新一代搜索引擎平臺和大數據分析核心技術

Google是GFS MapReduce BigTable的締造者,但Google 新一代搜索引擎平臺正逐步用更強計算能力的系統來替換原有系統,新一代搜索引擎平臺有幾個核心技術系統:

一是用基于Percolator的增量處理索引系統來取代MapReduce批處理索引系統,這個索引系統被稱作Caffeine,它比MapReduce批處理索引系統搜索更快。

二是專為BigTable設計的分布式存儲Colossus,也被稱為GFS2(二代Google文件系統),它專為建立Caffeine搜索索引系統而用。

三是列存儲數據庫BigTable,但為了更好地支持大數據集的互動分析,Google推出了Dremel和PowerDrill。Dremel被設計用來管理非常大量的大數據集(指數據集的數量和每數據集的規模都大),而PowerDrill則設計用來分析少量的大數據集(指數據集的規模大,但數據集的數量不多)時提供更強大的分析性能。

四是為Google Instant提供服務的實時搜索引擎存儲和分析架構。

五是Pregel,這是谷歌更快捷的網絡和圖算法。

在谷歌新一代搜索引擎平臺上,每月40億小時的視頻,4.25億Gmail用戶,150,000,000 GB Web索引,卻能實現0.25秒搜索出結果。

3、谷歌基礎云服務

基于Colossus,谷歌為用戶提供計算、存儲和應用的云服務。計算服務包括計算的引擎(ComputeEngine)和應用APP的引擎(AppEngine);存儲服務包括云存儲(CloudStorge)、云SQL(CLoudSQL)、云數據存儲(Cloud DataStore)、永久磁盤等服務;云應用服務包括BigQuery、云終端(Cloud Endpoints)、緩沖、隊列等。

4、谷歌的大數據智能應用服務

Google提供的大數據分析智能應用包括客戶情緒分析、交易風險(欺詐分析)、產品推薦、消息路由、診斷、客戶流失預測、法律文案分類、電子郵件內容過濾、政治傾向預測、物種鑒定等多個方面。據稱,大數據已經給Google每天帶來2300萬美元的收入。例如,一些典型應用如下:


(1)基于Map Reduce,Google的傳統應用包括數據存儲、數據分析、日志分析、搜索質量以及其他數據分析應用。

(2)基于Dremel系統, Google推出其強大的數據分析軟件和服務 — BigQuery,它也是Google自己使用的互聯網檢索服務的一部分。Google已經開始銷售在線數據分析服務,試圖與市場上類似亞馬遜網絡服務(Amazon Web Services)這樣的企業云計算服務競爭。這個服務,能幫助企業用戶在數秒內完成萬億字節的掃描。

(3)基于搜索統計算法,Google推出搜索引擎的輸寫糾錯、統計型機器翻譯等服務。

(4)Google的趨勢圖應用。通過用戶對于搜索詞的關注度,很快的理解社會上的熱點是什么。對廣告主來說,它的商業價值就是很快的知道現在用戶在關心什么,他們應該在什么地方投入一個廣告。據此,Google公司也開發了一些大數據產品,如“Brand Lift in Adwords”、“Active GRP”等,以幫助廣告客戶分析和評估其廣告活動的效率。

(5)Google Instant。輸入關鍵詞的過程,Google Instant 會邊打邊預測可能的搜索結果。

谷歌的大數據平臺架構仍在演進中,追去的目標是更大數據集、更快、更準確的分析和計算。這將進一步引領大數據技術發展的方向。


大云網官方微信售電那點事兒

責任編輯:廖生玨

免責聲明:本文僅代表作者個人觀點,與本站無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。
我要收藏
個贊
?
主站蜘蛛池模板: 欧美视频自拍偷拍 | 久久91精品综合国产首页 | 丁香伊人五月综合激激激 | 欧美三级一级片 | 国产免费网 | 色伦网 | 韩国一级性生活片 | 亚洲在成人网在线看 | 欧美特黄一区二区三区 | 一区二区三区四区视频在线观看 | 亚洲欧美日韩综合久久久久 | 波多野结衣被强在线视频 | 欧美一级性视频 | 亚洲精品一区二区三区在线观看 | 亚洲天天在线 | 男人把女人桶到喷白浆的视频 | 特级毛片www欧美 | 久热中文字幕在线精品免费 | 国产深夜福利视频网站在线观看 | 美女把张开腿男生猛戳免费视频 | 亚洲图片视频在线 | 99精品国产综合久久久久 | 亚洲理论欧美理论在线观看 | 欧美毛片在线 | 欧美一级毛片欧美一级成人毛片 | 国产美女作爱视频 | 久久狠狠一本精品综合网 | 不卡精品国产_亚洲人成在线 | 日韩一级片在线播放 | 精品一区二区三区在线观看 | 成人国产网站v片免费观看 成人国产午夜在线视频 | 成人免费视频一区二区 | 久久久网久久久久合久久久久 | 亚洲欧美日韩精品久久亚洲区色播 | 性做久久久久久久免费看 | 欧美在线一二三区 | 国产日韩欧美精品一区 | 中文字幕视频在线观看 | 国产九区| 特级a级毛片 | 202z欧美成人 |