現(xiàn)在新技術(shù)發(fā)展的特別快，各種語言、技術(shù)、理念讓大家確實感到自顧不暇跟不上趟，但是有一點，在這里我要特別重申一下，AI在目前這個階段還是一種輔助大家來進行判斷和學習、定位處理問題的工具，就像無人駕駛，現(xiàn)在可以做到完全沒有人駕駛嗎？肯定不行，未來無人駕駛是完全可以替代人的，但它還有很長一段路要走。AI運維就像無人駕駛一樣，未來前景很光明，但任重道遠。

大部分的智能運維還沒有完全落地，我所在的企業(yè)也是處在一個探索的階段。在一個傳統(tǒng)的企業(yè)它的運維該如何走？從以前的腳本到工具、自動化，再到現(xiàn)在的智能運維，中間這個步驟該怎么走？今天就從下面五個方面給大家分享下：

一、構(gòu)建一個全面科學的IT運維管理體系

• 第一個IT部門的整體認可不足。雖然說IT在任何單位現(xiàn)在都是一個比較重要的部門，但是還有很多領(lǐng)導仍然認為它是一個成本中心，不是一個利潤中心，認為這個部門是花錢的，而不是像業(yè)務(wù)部門創(chuàng)造業(yè)務(wù)價值和創(chuàng)造利潤的。

• 第二個對于運維工作人員負荷比較大，工作模式不被員工認可。在沒有自動化運維和平臺之前，整個運維團隊只有八個人，如果每個人一天處理六到十個故障，基本上沒有時間去研究別的東西了。傳統(tǒng)運維壓力很大，疲于奔命和救火，必須要尋求改變，走向自動化、平臺化、智能化。

• 第三運行的態(tài)勢相關(guān)信息掌握不足。監(jiān)控是多維度的，不同的業(yè)務(wù)會有不同的指標，所有加起來有上萬個指標，但卻沒有整體態(tài)勢變化圖、很難成體系，不能實現(xiàn)智能感知和態(tài)勢預(yù)測，整個運維態(tài)勢就很難保持平穩(wěn)。

• 第四依據(jù)業(yè)務(wù)需求調(diào)整服務(wù)和設(shè)置資源的能力不足。在業(yè)務(wù)故障處理的時候需要很長的過程，中間涉及到很多的相關(guān)技術(shù)部門，需要和業(yè)務(wù)方進行交互，僅靠較少的人力幾乎做不到。

我們希望在現(xiàn)有的業(yè)務(wù)體系里面，運維部門要實現(xiàn)這樣的運維目標？

• 第一個全面的性能管理。能夠提供對現(xiàn)在所有的設(shè)備和服務(wù)質(zhì)量進行實時監(jiān)測，并且提供動態(tài)閾值的告警。

• 第二個統(tǒng)一的資源管理。很多企業(yè)業(yè)務(wù)都上云了，需要有統(tǒng)一的監(jiān)控平臺，可以把所有業(yè)務(wù)相應(yīng)資源視圖抓取出來，便于我們對整體資源有一個合理的預(yù)估和分配，并從整體角度評估各個業(yè)務(wù)部門對資源的使用情況。

• 第三個及時的故障告警管理。我們發(fā)現(xiàn)有很多產(chǎn)品還不能做到完全及時的告警，告警發(fā)生后總是延時才能知曉，需要實時的準確的告警，減少延遲和誤報。

• 第四集中統(tǒng)一展現(xiàn)管理。把很多不同的監(jiān)控子系統(tǒng)集成起來，這個在現(xiàn)在的企業(yè)里面需求是很大的，借助于各種工具，采集數(shù)據(jù)之后自動合成一個報表統(tǒng)一展現(xiàn)出來，方便管理。

我們關(guān)注的核心問題有：

• 第一我們是一個跨地域的平臺，是多數(shù)據(jù)中心，我們希望有一個IT的綜合運維平臺，來統(tǒng)一管理。

• 第二是深入監(jiān)控并進行集中統(tǒng)一的可視化管理，提高效率。

• 第三就是有效的預(yù)防問題的產(chǎn)生，降低運維成本。另外就是問題出現(xiàn)后，能夠快速跟蹤定位，降低人力成本。

• 第四多維的報表為決策提供有力支撐，科學預(yù)判趨勢。

• 第五全局業(yè)務(wù)服務(wù)視角和平臺化擴展以及大數(shù)據(jù)分析的融合，滿足企業(yè)對于業(yè)務(wù)高效和快速迭代的需求。

• 第六保護和優(yōu)化IT資產(chǎn)。以前各個業(yè)務(wù)都是自己的一套系統(tǒng)，有自己的開發(fā)和運維人員以及監(jiān)控系統(tǒng)，這對企業(yè)來說是重復造輪子了。現(xiàn)在上云后，把原有的系統(tǒng)集中整合到云上，通過統(tǒng)一的監(jiān)控和資源管理最好的保護和優(yōu)化資產(chǎn)。

要做好智能化運維之前，我們經(jīng)過深入的分析，提了四個要求：

• 第一個是規(guī)范化。規(guī)范化就是盡可能的把操作規(guī)范下來，比如模板里是什么基礎(chǔ)配置和安全基線，有一個規(guī)范化的標準。

• 第二個是可控性。就是能夠通過云監(jiān)控平臺發(fā)現(xiàn)各個業(yè)務(wù)存在的瓶頸，包括資源瓶頸和性能瓶頸，對可能產(chǎn)生的問題可控可分析。

• 第三個是數(shù)據(jù)化。基于海量數(shù)據(jù)的決策分析，才能方便作出準確的判斷和科學決策。

• 第四個是主動性。從被動響應(yīng)變?yōu)橹鲃臃?wù)，主動發(fā)現(xiàn)問題，把問題消滅在萌芽中，在業(yè)務(wù)發(fā)生問題之前及時告知，這個感覺就不一樣了。

我們希望構(gòu)建現(xiàn)代化和智能的運維管理模式，主要是以下5個方面，如下圖：

二、全景業(yè)務(wù)服務(wù)管理

在互聯(lián)網(wǎng)大爆炸時代，國家層面上也在提互聯(lián)網(wǎng)+、數(shù)字化轉(zhuǎn)型、智能化等等。我們的系統(tǒng)能不能快速響應(yīng)，為業(yè)務(wù)保駕護航？

面向業(yè)務(wù)的IT服務(wù)管理主要有這幾個特點：

• 1、監(jiān)控的粒度要細，能通過一個曲線捕捉到異常點。

• 2、面向業(yè)務(wù)管理和面向用戶管理。這塊要區(qū)分開來，在企業(yè)里用戶權(quán)限分的是比較細的，什么人可以操作什么樣的業(yè)務(wù)，管理員可以管理哪幾類業(yè)務(wù)都有清晰的定位。

• 3、數(shù)據(jù)的全面和擴充性。數(shù)據(jù)只有全面才能進行科學的決策，很多時候如果看到的日志不全，或者拿到的監(jiān)控數(shù)據(jù)不準，在做決策的時候肯定就會比較貿(mào)然。比如數(shù)據(jù)中心某業(yè)務(wù)鏈路出現(xiàn)問題，是不是要切換？數(shù)據(jù)是不是還能保持一致？這個時候在沒有確定的數(shù)據(jù)來支撐你決策之前，你做決策時都會感到比較忐忑，猶豫不前。

建立以業(yè)務(wù)為導向的綜合監(jiān)控平臺，主要目的就是要統(tǒng)一展現(xiàn)、統(tǒng)一管理和統(tǒng)一調(diào)度。全鏈路監(jiān)測，這個目的就是從訪問入口進來后一直到數(shù)據(jù)出去，每一個過程都要能監(jiān)控到感知到。

從業(yè)務(wù)的視角進行IT基礎(chǔ)資源的管理與維護，一旦某個資源發(fā)生故障或問題，都可以從業(yè)務(wù)視圖中直觀地了解到這個資源的故障將影響什么業(yè)務(wù)影響哪些服務(wù)，進而了解到影響哪些用戶。

數(shù)據(jù)庫慢了，CPU突然飆升了，這些地方這些資源突然發(fā)生變化了之后，影響到哪些業(yè)務(wù)呢？這時候就需要將監(jiān)控資源視圖和業(yè)務(wù)關(guān)聯(lián)起來，這樣才能準確定位影響了哪些業(yè)務(wù)。

這個是問題的整體診斷和分析。

任何問題都需要采集相關(guān)的日志和數(shù)據(jù)，才能科學全面的分析問題。

采集層需要把不同數(shù)據(jù)源的數(shù)據(jù)采集過來，中間層做一些性能分析，配置管理和預(yù)警分析、告警處理。展示層將分析的結(jié)果展示出來，也就是各種圖表，建立綜合的業(yè)務(wù)指標分析，方便根因定位和解決問題。

三、基于大數(shù)據(jù)平臺的日志分析和多維報表

基于大數(shù)據(jù)平臺，提供日志的采集和聚合處理，通過日志關(guān)聯(lián)分析幫助準確全面定位提升效能和滿意度，智能預(yù)測和預(yù)警，為科學決策提供量化依據(jù)。

將采集到的網(wǎng)絡(luò)監(jiān)控數(shù)據(jù)、機房數(shù)據(jù)、服務(wù)器和云環(huán)境監(jiān)控數(shù)據(jù)以及攝像頭報警數(shù)據(jù)集中起來，數(shù)據(jù)匯集之后生成PMDB性能管理庫，在根據(jù)業(yè)務(wù)應(yīng)用的特征，建立不同的模型進行相應(yīng)的算法分析。

根據(jù)不同的資源類來定義KPI指標，建模目的就是方便快速分析，為資源管理、告警管理、集中化展現(xiàn)等其他模塊提供數(shù)據(jù)分析模型的支撐。

數(shù)據(jù)采集有兩種類型，一種是被動的，一種是主動的。

采集業(yè)務(wù)相關(guān)指標，可以對數(shù)據(jù)進行預(yù)處理，做一些有效性的標簽識別，比如這個信息和指標是不是你關(guān)注的，對不友好的日志進行格式化處理。

性能指標的計算，要跟業(yè)務(wù)進行協(xié)同，從業(yè)務(wù)的角度來定義。設(shè)置的閾值，有些場景是固定的，也有的場景是動態(tài)的。固定閾值就相當于資源使用率，肯定有一個上限的。動態(tài)閾值像一些性能曲線，CPU的利用率、頁面響應(yīng)、圖片加載等這些是可以使用動態(tài)閾值的，根據(jù)歷史數(shù)據(jù)來計算出這個動態(tài)閾值，某一時刻的歷史峰值，根據(jù)這些合理計算出在那個時刻到底需要多少資源。

根據(jù)上面的閾值會有一個報警的事件，任何事件產(chǎn)生都是基于時間的，故障的定位肯定也要基于時間找到相關(guān)的日志和發(fā)生的事件。

事件診斷一直是運維領(lǐng)域一個很重要的工作，事件和時序的相關(guān)性不僅可以為事件診斷提供很好的啟發(fā)，而且在幫助我們進行根因分析時也能提供很好的線索。某個時間段出現(xiàn)的故障，都會產(chǎn)生一些相關(guān)的事件，對它們進行篩選和過濾是能夠詳細捕捉到故障和定位到根因的。

在事件診斷和處理中，是不是需要引入算法，我覺得是有必要的，如果能提高效率和提高解決問題的能力，一切探索都是值得的。

也有一些運維界的朋友們花了很多時間和精力，去學習和研究算法，我認為不必過于糾結(jié)算法， 簡單了解一下開源的這些算法，知道這些算法的輸入和輸出是什么，能解決運維中哪些實際問題，以及組合起來又能解決什么問題，方便我們合理的應(yīng)用它就可以了，這樣會對更快落地智能運維起到事半功倍的效果。

數(shù)據(jù)的匯聚處理就是把采集到的數(shù)據(jù)有機的關(guān)聯(lián)起來，壓縮、過濾形成標準化的信息。數(shù)據(jù)導入則可以通過全量的HDFS和增量的Kafka來實現(xiàn)。

基于大數(shù)據(jù)平臺的多維報表，根據(jù)自己的需要，按照日、周、月來生成運維報告，發(fā)送給管理層的領(lǐng)導，這些數(shù)據(jù)是他們比較關(guān)心的，比較清晰的圖示出在這些時段發(fā)生了哪些問題，造成了多大面的影響，然后決定相關(guān)的資源是否進行擴充，相應(yīng)的業(yè)務(wù)部署是否需要調(diào)整。

綜合展示比較關(guān)注的則是性能分析、容量分析和自動化配置。比如今年采購了500TB存儲，我用了多少，明年還需要擴容多少，業(yè)務(wù)增長量會有多少，這個都影響到企業(yè)的采購計劃。根據(jù)業(yè)務(wù)的實際進行評估，來推算出明年大概需要買多少TB的存儲。

四、IT監(jiān)控管理平臺發(fā)展

IT監(jiān)控管理的發(fā)展大概有三代，從上世紀九十年代至今，第一代是以網(wǎng)絡(luò)為中心，在這個時期咱們提供比較多的都是基于網(wǎng)絡(luò)的監(jiān)控和故障發(fā)現(xiàn)，帶寬管理和服務(wù)水平協(xié)議。

第二代監(jiān)控就是以監(jiān)控IT基礎(chǔ)設(shè)施為中心，看到比較多的就是主機、存儲、操作系統(tǒng)、中間件、數(shù)據(jù)庫等各類基礎(chǔ)資源的監(jiān)控。

第三代監(jiān)控以IT應(yīng)用為中心，針對比較高度復雜的交易，需要實現(xiàn)面向用戶體驗和面向應(yīng)用高可用性的實時監(jiān)測和故障的智能診斷，運維人員必須高屋建瓴、全面謀劃，有能力提供一個全局性、高效健壯、標準規(guī)范、自動化的監(jiān)控解決方案并加以實現(xiàn)。

五、故障管理及自治自愈

這是我們每天收到的告警情況統(tǒng)計，在沒有自動化和智能化之前，我和大家一樣心態(tài)是焦慮和崩潰的。

如何從錯綜復雜的運維監(jiān)控數(shù)據(jù)中得出我們所需要的信息和結(jié)果，一句話就是分辨和精煉，提取真正需要關(guān)注的信息，從而減少每天的告警信息量。

目標就是簡、智、深。

簡就是要確保業(yè)務(wù)和SLA服務(wù)級別，出現(xiàn)問題要及時響應(yīng)、自動分析和優(yōu)化，把處理的流程精簡和高效組合起來，讓問題匹配正確的場景，找到正確的人，在第一時間正確處理。

機器學習主要就是突出智，這個需要大量的數(shù)據(jù)來訓練，故障出現(xiàn)的形態(tài)是千奇百怪，對故障的歷史數(shù)據(jù)進行場景分類和標注，不斷用模式識別和數(shù)據(jù)來訓練機器識別和分析，然后讓機器自動準確判斷。

當然標注不能完全靠人，也需要通過機器來自動進行關(guān)鍵詞標注，而標注的合理性就需要人為進行判斷，然后再利用到機器學習上，這樣才能真正輔助我們做一些決策。

基于架構(gòu)、工程師的經(jīng)驗和概率來做到收斂告警事件，基于規(guī)范和分工產(chǎn)生告警事件發(fā)送到對的人，基于數(shù)據(jù)和模型來提高事件的處理能力。很多事件有的工程師處理的特別快，反之如果對這個故障不熟悉的人可能花費的時間就很長。這就需要構(gòu)建一個策略知識庫，讓其他人來參考和學習，提高同類場景事件處理的能力。

智能運維的終極，實現(xiàn)的目標就是減少對人的依賴，逐步信任機器，實現(xiàn)機器的自判、自斷和自決。

技術(shù)都是在不斷的進步，AI技術(shù)將來會解決很多的一些需要花費大量人力和時間才能解決的事情，但是AI不是一個很純粹的技術(shù)，它也需要結(jié)合具體的企業(yè)場景和業(yè)務(wù)，通過計算驅(qū)動和數(shù)據(jù)驅(qū)動，才能產(chǎn)生一個真正可用的產(chǎn)品。

智能運維技術(shù)在企業(yè)的落地，不是一蹴而就的，是一個漸進和價值普及的過程。

我們可以看到，智能運維技術(shù)已經(jīng)成為新運維演化的一個開端，可以預(yù)見在更高效和更多的平臺實踐之后，智能運維還將為整個IT領(lǐng)域注入更多新鮮和活力，在未來發(fā)展和壯大下去，成為引領(lǐng)潮流的重要性力量！