Google大數(shù)據(jù)技術(shù)架構(gòu)探秘
Google是大數(shù)據(jù)時(shí)代的奠基者,其大數(shù)據(jù)技術(shù)架構(gòu)一直是互聯(lián)網(wǎng)公司爭(zhēng)相學(xué)習(xí)和研究的重點(diǎn),也是行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)的標(biāo)桿和示范。
1、谷歌的數(shù)據(jù)中心
谷歌已經(jīng)建立了世界上最快、最強(qiáng)大、最高質(zhì)量的數(shù)據(jù)中心,它的8個(gè)主要數(shù)據(jù)中心都遠(yuǎn)離其位于加州山景城的總部,分別位于美國(guó)南卡羅來(lái)納州的伯克利郡,愛(ài)荷華州的康瑟爾布拉夫斯,喬治亞州的道格拉斯郡,俄克拉荷馬州的梅斯郡,北卡羅來(lái)納州的勒努瓦,俄勒岡州的達(dá)爾斯;另外2個(gè)在美國(guó)境外,分別是芬蘭的哈米納和比利時(shí)的圣吉斯蘭。此外,谷歌公司還在中國(guó)香港和中國(guó)臺(tái)灣,以及新加坡和智利建立了數(shù)據(jù)中心。

2、谷歌新一代搜索引擎平臺(tái)和大數(shù)據(jù)分析核心技術(shù)
Google是GFS MapReduce BigTable的締造者,但Google 新一代搜索引擎平臺(tái)正逐步用更強(qiáng)計(jì)算能力的系統(tǒng)來(lái)替換原有系統(tǒng),新一代搜索引擎平臺(tái)有幾個(gè)核心技術(shù)系統(tǒng):
一是用基于Percolator的增量處理索引系統(tǒng)來(lái)取代MapReduce批處理索引系統(tǒng),這個(gè)索引系統(tǒng)被稱作Caffeine,它比MapReduce批處理索引系統(tǒng)搜索更快。

二是專為BigTable設(shè)計(jì)的分布式存儲(chǔ)Colossus,也被稱為GFS2(二代Google文件系統(tǒng)),它專為建立Caffeine搜索索引系統(tǒng)而用。
三是列存儲(chǔ)數(shù)據(jù)庫(kù)BigTable,但為了更好地支持大數(shù)據(jù)集的互動(dòng)分析,Google推出了Dremel和PowerDrill。Dremel被設(shè)計(jì)用來(lái)管理非常大量的大數(shù)據(jù)集(指數(shù)據(jù)集的數(shù)量和每數(shù)據(jù)集的規(guī)模都大),而PowerDrill則設(shè)計(jì)用來(lái)分析少量的大數(shù)據(jù)集(指數(shù)據(jù)集的規(guī)模大,但數(shù)據(jù)集的數(shù)量不多)時(shí)提供更強(qiáng)大的分析性能。四是為Google Instant提供服務(wù)的實(shí)時(shí)搜索引擎存儲(chǔ)和分析架構(gòu)。
五是Pregel,這是谷歌更快捷的網(wǎng)絡(luò)和圖算法。
在谷歌新一代搜索引擎平臺(tái)上,每月40億小時(shí)的視頻,4.25億Gmail用戶,150,000,000 GB Web索引,卻能實(shí)現(xiàn)0.25秒搜索出結(jié)果。
3、谷歌基礎(chǔ)云服務(wù)
基于Colossus,谷歌為用戶提供計(jì)算、存儲(chǔ)和應(yīng)用的云服務(wù)。計(jì)算服務(wù)包括計(jì)算的引擎(ComputeEngine)和應(yīng)用APP的引擎(AppEngine);存儲(chǔ)服務(wù)包括云存儲(chǔ)(CloudStorge)、云SQL(CLoudSQL)、云數(shù)據(jù)存儲(chǔ)(Cloud DataStore)、永久磁盤(pán)等服務(wù);云應(yīng)用服務(wù)包括BigQuery、云終端(Cloud Endpoints)、緩沖、隊(duì)列等。
4、谷歌的大數(shù)據(jù)智能應(yīng)用服務(wù)
Google提供的大數(shù)據(jù)分析智能應(yīng)用包括客戶情緒分析、交易風(fēng)險(xiǎn)(欺詐分析)、產(chǎn)品推薦、消息路由、診斷、客戶流失預(yù)測(cè)、法律文案分類、電子郵件內(nèi)容過(guò)濾、政治傾向預(yù)測(cè)、物種鑒定等多個(gè)方面。據(jù)稱,大數(shù)據(jù)已經(jīng)給Google每天帶來(lái)2300萬(wàn)美元的收入。例如,一些典型應(yīng)用如下:
(1)基于Map Reduce,Google的傳統(tǒng)應(yīng)用包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、日志分析、搜索質(zhì)量以及其他數(shù)據(jù)分析應(yīng)用。
(2)基于Dremel系統(tǒng), Google推出其強(qiáng)大的數(shù)據(jù)分析軟件和服務(wù) — BigQuery,它也是Google自己使用的互聯(lián)網(wǎng)檢索服務(wù)的一部分。Google已經(jīng)開(kāi)始銷售在線數(shù)據(jù)分析服務(wù),試圖與市場(chǎng)上類似亞馬遜網(wǎng)絡(luò)服務(wù)(Amazon Web Services)這樣的企業(yè)云計(jì)算服務(wù)競(jìng)爭(zhēng)。這個(gè)服務(wù),能幫助企業(yè)用戶在數(shù)秒內(nèi)完成萬(wàn)億字節(jié)的掃描。
(3)基于搜索統(tǒng)計(jì)算法,Google推出搜索引擎的輸寫(xiě)糾錯(cuò)、統(tǒng)計(jì)型機(jī)器翻譯等服務(wù)。
(4)Google的趨勢(shì)圖應(yīng)用。通過(guò)用戶對(duì)于搜索詞的關(guān)注度,很快的理解社會(huì)上的熱點(diǎn)是什么。對(duì)廣告主來(lái)說(shuō),它的商業(yè)價(jià)值就是很快的知道現(xiàn)在用戶在關(guān)心什么,他們應(yīng)該在什么地方投入一個(gè)廣告。據(jù)此,Google公司也開(kāi)發(fā)了一些大數(shù)據(jù)產(chǎn)品,如“Brand Lift in Adwords”、“Active GRP”等,以幫助廣告客戶分析和評(píng)估其廣告活動(dòng)的效率。
(5)Google Instant。輸入關(guān)鍵詞的過(guò)程,Google Instant 會(huì)邊打邊預(yù)測(cè)可能的搜索結(jié)果。
谷歌的大數(shù)據(jù)平臺(tái)架構(gòu)仍在演進(jìn)中,追去的目標(biāo)是更大數(shù)據(jù)集、更快、更準(zhǔn)確的分析和計(jì)算。這將進(jìn)一步引領(lǐng)大數(shù)據(jù)技術(shù)發(fā)展的方向。

責(zé)任編輯:廖生玨
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計(jì)落地:鼓勵(lì)“光儲(chǔ)充放”,有序推進(jìn)氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計(jì) -
中國(guó)自主研制的“人造太陽(yáng)”重力支撐設(shè)備正式啟運(yùn)
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng)
-
新基建助推 數(shù)據(jù)中心建設(shè)將迎爆發(fā)期
2020-06-16數(shù)據(jù)中心,能源互聯(lián)網(wǎng),電力新基建 -
泛在電力物聯(lián)網(wǎng)建設(shè)下看電網(wǎng)企業(yè)數(shù)據(jù)變現(xiàn)之路
2019-11-12泛在電力物聯(lián)網(wǎng) -
泛在電力物聯(lián)網(wǎng)建設(shè)典型實(shí)踐案例
2019-10-15泛在電力物聯(lián)網(wǎng)案例
-
新基建之充電樁“火”了 想進(jìn)這個(gè)行業(yè)要“心里有底”
2020-06-16充電樁,充電基礎(chǔ)設(shè)施,電力新基建 -
燃料電池汽車駛?cè)雽こ0傩占疫€要多久?
-
備戰(zhàn)全面電動(dòng)化 多部委及央企“定調(diào)”充電樁配套節(jié)奏
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計(jì)落地:鼓勵(lì)“光儲(chǔ)充放”,有序推進(jìn)氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計(jì) -
中國(guó)自主研制的“人造太陽(yáng)”重力支撐設(shè)備正式啟運(yùn)
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長(zhǎng)期助力儲(chǔ)能行業(yè)發(fā)展
-
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng) -
5G新基建助力智能電網(wǎng)發(fā)展
2020-06-125G,智能電網(wǎng),配電網(wǎng) -
從智能電網(wǎng)到智能城市
-
山西省首座電力與通信共享電力鐵塔試點(diǎn)成功
-
中國(guó)電建公司公共資源交易服務(wù)平臺(tái)摘得電力創(chuàng)新大獎(jiǎng)
-
電力系統(tǒng)對(duì)UPS的技術(shù)要求