www涩-www黄网站-www黄色-www黄色com-国产免费拍拍视频在线观看网站-国产免费怕怕免费视频观看

對象存儲服務(wù)-構(gòu)架設(shè)計(jì)

2018-02-01 15:34:04 Ceph對象存儲方案  點(diǎn)擊量: 評論 (0)
基本構(gòu)架組成1.網(wǎng)關(guān)服務(wù)(Gateway):客戶端發(fā)送請求(Request)到網(wǎng)關(guān)服務(wù)(Gateway)再由網(wǎng)關(guān)服務(wù)實(shí)現(xiàn)將客戶端請求轉(zhuǎn)換為相應(yīng)的數(shù)據(jù)(Data)、元數(shù)...

基本構(gòu)架組成

1.網(wǎng)關(guān)服務(wù)(Gateway):
客戶端發(fā)送請求(Request)到網(wǎng)關(guān)服務(wù)(Gateway)再由網(wǎng)關(guān)服務(wù)實(shí)現(xiàn)將客戶端請求轉(zhuǎn)換為相應(yīng)的數(shù)據(jù)(Data)、元數(shù)據(jù)(Metadata),消息對列(MQ)的操作。一般來講網(wǎng)關(guān)服務(wù)主要承擔(dān)以下幾個角色的功能:
協(xié)議轉(zhuǎn)換:實(shí)現(xiàn)前端客戶端協(xié)議(HTTP/RPC)等向后端模塊(TCP/RPC/MQ)之間的協(xié)議轉(zhuǎn)換。
請求分發(fā):負(fù)責(zé)將前端請求按不同請求類型(數(shù)據(jù)操作。元數(shù)據(jù)操作、異步隊(duì)列操作)分發(fā)到不同后端模塊上。

對象存儲服務(wù)-構(gòu)架設(shè)計(jì)

協(xié)同與調(diào)度:部分前端請求可能會同時涉及到與多個后端模塊之間的交互,因此網(wǎng)關(guān)服務(wù)還需要統(tǒng)一這些請求,并實(shí)現(xiàn)多個模塊之間的協(xié)同與調(diào)度。
負(fù)載均衡:實(shí)現(xiàn)客戶端請求的負(fù)載均衡,提升整體系統(tǒng)的并發(fā)吞吐性能。

 

對象存儲服務(wù)-構(gòu)架設(shè)計(jì)

高速緩存:實(shí)現(xiàn)熱數(shù)據(jù)的高速緩存,提高客戶端請求的命中率,同時降低底層模塊的訪問壓力。當(dāng)出現(xiàn)底層模塊不可用時,仍然能夠提供部分?jǐn)?shù)據(jù)來支撐客戶端的請求訪問,提供類似降級服務(wù),從而在一定程度上提高整體服務(wù)的可用性。
正是鑒于上面講到的幾個功能特性,如果把整個對象存儲比作一輛超級大卡車,網(wǎng)關(guān)服務(wù)相當(dāng)于“方向盤,變速箱,儀表盤”這些和司機(jī)有著密切交道的操控設(shè)備,車子開起來順不順手,很大程度上都由這些決定。
2.數(shù)據(jù)存儲服務(wù)(Data store):
同時滿足水平擴(kuò)展,高性能、高可用等分布式存儲的特性,為整個對象存儲提供底層數(shù)據(jù)存儲最堅(jiān)實(shí)的基石,用一句話來形容就是"堅(jiān)如磐石"。數(shù)據(jù)存儲服務(wù)模塊可以對上提供多種類型的數(shù)據(jù)存儲I/O接口,比如文件存儲、對象存儲、塊存儲,上層通過調(diào)用這些標(biāo)準(zhǔn)化的存儲接口,實(shí)現(xiàn)對象數(shù)據(jù)內(nèi)容的存儲。如果把對象存儲系統(tǒng)比作一輛車,那么數(shù)據(jù)存儲服務(wù)相當(dāng)于整個對象存儲的"車身、懸架、輪胎"。
3.元數(shù)據(jù)存儲(KV store):
一個完整的對象數(shù)據(jù)主要由數(shù)據(jù)內(nèi)容和元數(shù)據(jù)兩部分構(gòu)成,除了通過上面提到的數(shù)據(jù)存儲服務(wù)以外,一些元數(shù)據(jù)信息也需要用到存儲。值得注意的是數(shù)據(jù)內(nèi)容一般都是非結(jié)構(gòu)化化或者半結(jié)構(gòu)化,但元數(shù)據(jù)一般都是可以結(jié)構(gòu)化的內(nèi)容,比如文件的MIME,MD5值、修改時間(mtime),屬主(ower)等,這些信息一般都是以key-value方式存儲并關(guān)聯(lián)到具體的對象,而且這些元數(shù)據(jù)信息經(jīng)常性的需要進(jìn)行快速遍歷和查詢、更新等,同時為了更好的做到模塊之間的解耦,將元數(shù)據(jù)存儲單獨(dú)抽離出來并以Key-value方式存儲在特定的KV存儲引擎中變得非常有必要,特別是當(dāng)對象存儲數(shù)據(jù)規(guī)模到達(dá)海量以后,獨(dú)立的KV存儲(元數(shù)據(jù)存儲)能夠極大的避免成為整個系統(tǒng)的性能瓶頸。可以毫不夸張的說元數(shù)據(jù)存儲的重要性相當(dāng)于整個對象存儲系統(tǒng)的"傳動系統(tǒng)、變速器"。
4.異步任務(wù)隊(duì)列(Async queue):
為什么一個對象存儲系統(tǒng)需要用到一個獨(dú)立的異步任務(wù)隊(duì)列系統(tǒng),相信這是很多新手司機(jī)的困惑。同樣也是基于解耦的初衷,讓我們看看下面幾個場景。
1).用戶數(shù)據(jù)需要進(jìn)行一些定期的數(shù)據(jù)操作,比如通過lifecycle,實(shí)現(xiàn)定期篩選并清除用戶數(shù)據(jù),亦或是定期從熱存儲資源池將數(shù)據(jù)遷移到冷存儲資源池。
2).用戶已經(jīng)刪除了對象,底層需要按一定的規(guī)則觸發(fā)相應(yīng)的垃圾回收(GC)機(jī)制,釋放那些被占用的磁盤空間。
3).用戶需要跨越物理區(qū)域去同步多個存儲集群之間的數(shù)據(jù),考慮到網(wǎng)絡(luò)延遲、磁盤延遲等各方面因素,這些操作都無法做到實(shí)時同步。
4).用戶需要將傳上來的數(shù)據(jù)進(jìn)行加工處理,比如對上傳上來的視頻文件進(jìn)行轉(zhuǎn)碼,對圖片進(jìn)行壓縮,對文件進(jìn)行加密等,這些操作都需要消耗大量的計(jì)算資源,而且都無法做到實(shí)時返回結(jié)果。
了解完上面的幾種場景,你會發(fā)現(xiàn),如果采取同步機(jī)制去要求所有的客戶端操作都立即返回執(zhí)行結(jié)果,是非常不現(xiàn)實(shí)的,至少目前硬件層面還無法做到這么高的實(shí)時性,于是我們只能做出適當(dāng)取舍,設(shè)計(jì)一個獨(dú)立的異步任務(wù)隊(duì)列來滿足這些需求,把一些耗時操作都丟給這個異步的任務(wù)隊(duì)列。引入異步隊(duì)列系統(tǒng)確實(shí)能解決整個對象存儲系統(tǒng)中一些無法實(shí)時操作的痛點(diǎn),但同時也引入了一些新的問題:
1).如何確保用戶的數(shù)據(jù)一致性,特別是用戶頻繁進(jìn)行數(shù)據(jù)和元數(shù)據(jù)操作的時候,如何保障這些異步操作原子化,最大程度的符合用戶對數(shù)據(jù)一致性的預(yù)期。
2).異步隊(duì)列自身的健壯性,如何保障每一個提交到異步隊(duì)列的實(shí)務(wù)(task)能夠?qū)崟r有效的執(zhí)行,特別是在異步隊(duì)列自身出現(xiàn)故障等各種問題的時候,如何快速有效且正確的去執(zhí)行這些實(shí)務(wù)。
3).平滑的水平擴(kuò)展,如何在處理現(xiàn)有任務(wù)隊(duì)列的同時確保整個隊(duì)列系統(tǒng)的平滑水平擴(kuò)展。
4).任務(wù)時序化和優(yōu)先級,對象存儲系統(tǒng)一般實(shí)現(xiàn)的都是數(shù)據(jù)的最終一致性,如何確保所有任務(wù)嚴(yán)格按時間序列或者其他規(guī)則執(zhí)行,如何確定同一時刻對同一個對象的不同操作的優(yōu)先級順序。
上面只是我這邊簡單羅列的幾個引入異步隊(duì)列所帶來的問題,相信各位讀者對這些問題都有著自己不同的理解,一千個讀者就有一千個哈姆雷特,這里因?yàn)槠邢蓿覀儾辉偕钊胂氯ィ劦竭@些需要思考的問題主要是想告訴各位讀者,異步任務(wù)隊(duì)列是一把"雙刃劍",如果你功底深厚可以做出很多超出你想象的功能特性,將整個對象存儲服務(wù)在功能上提高好幾個Level,但是反之,一旦陷入深坑,也可能“萬劫不復(fù)”。所以我個人的經(jīng)驗(yàn)是,對待異步隊(duì)列時刻保持警惕態(tài)度,盡可能少的去涉及這個模塊,用一句話概括就是"simple is the best"。可以毫不掩飾的說,異步任務(wù)隊(duì)列是一個對象存儲產(chǎn)品是否成熟的關(guān)鍵指標(biāo),類似"倒車?yán)走_(dá),定速巡航"一類高級功能,如果把選購對象存儲產(chǎn)品比作選購汽車,這也將成為區(qū)別“普通汽車”與“高檔汽車”的關(guān)鍵。

大云網(wǎng)官方微信售電那點(diǎn)事兒
免責(zé)聲明:本文僅代表作者個人觀點(diǎn),與本站無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí),對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實(shí)相關(guān)內(nèi)容。
我要收藏
個贊
?
主站蜘蛛池模板: 一区二区三区四区视频 | 国产99视频精品免视看7 | 日本在线观看免费看片 | 97国产在线播放 | 天天欲色成人综合网站 | 国产美女作爱全过程免费视频 | 性夜影院爽黄a爽免费看网站 | 中文字幕久久久 | 国产欧美日韩精品a在线观看 | 美女在线网站免费的 | 欧美又粗又硬又大久久久 | 精品日韩欧美一区二区三区 | 欧美日韩国产成人精品 | 毛片免费在线播放 | 日韩不卡一二三区 | a一级特黄日本大片 s色 | 长腿嫩模打开双腿呻吟 | 久久久综合久久 | 亚洲一级毛片免费看 | 亚洲高清在线观看视频 | 全部精品孕妇色视频在线 | 性生i活一级一片 | 就草草在线观看视频 | 一级特黄爽大片刺激 | 国产99精品一区二区三区免费 | 99久久精品全部 | 日本三级韩国三级在线观看a级 | 欧美日韩国产亚洲一区二区三区 | 最新国产三级在线观看不卡 | 久草免费网站 | 亚洲免费在线视频播放 | 亚洲人成高清毛片 | 深爱激情五月网 | www.黄.com| 99在线视频免费 | 日韩欧美视频一区二区在线观看 | 99国产精品久久久久久久... | 免费一级a毛片在线播放视 免费一级α片在线观看 | 男人添女人下面免费毛片 | 成人五级毛片免费播放 | 欧美一级毛片久久精品 |