一次城建工人的失誤，造成了微信史上最大規(guī)模的一次宕機(jī)，也讓這個(gè)擁有4億用戶(hù)的超級(jí)即時(shí)通訊工具面對(duì)了自上線(xiàn)以來(lái)的最大危機(jī)。

        從通訊中斷后的修護(hù)時(shí)間之長(zhǎng)，到光纜被挖斷后的應(yīng)急方案之弱，都讓外界注意到，微信乃至中國(guó)互聯(lián)網(wǎng)產(chǎn)業(yè)體系中曾被忽視的安全軟肋。

       宕機(jī)之后，微信團(tuán)隊(duì)恢復(fù)通訊的時(shí)間是6個(gè)小時(shí)，這在互聯(lián)網(wǎng)乃至通信行業(yè)里都極為罕見(jiàn)，尤其是曾被認(rèn)為需要向互聯(lián)網(wǎng)學(xué)習(xí)的通信運(yùn)營(yíng)商，重新成為騰訊需要學(xué)習(xí)的對(duì)象。

       “網(wǎng)絡(luò)再爛的運(yùn)營(yíng)商，也基本不會(huì)出現(xiàn)全網(wǎng)中斷;即使有局部地區(qū)短信中斷或話(huà)路中斷，基本也很少超過(guò)一個(gè)小時(shí)。甚至在雅安地震這樣的災(zāi)難事件中，運(yùn)營(yíng)商也做到了在一小時(shí)內(nèi)恢復(fù)75%的通信。”一位運(yùn)營(yíng)商人士告訴記者。

        危機(jī)6小時(shí)

        7月22日上海浦東新區(qū)康橋鎮(zhèn)秀浦路，一大早，上海城建隧道股份有限公司浦東分公司的工地上就已忙碌起來(lái)。在這個(gè)被戲稱(chēng)為“上海史上最熱”的炎夏，天氣最涼爽的清晨是室外市政施工最寶貴的時(shí)間。但8點(diǎn)剛過(guò)，他們不得不把手里的活兒全部停了下來(lái)，因?yàn)樗麄兺跀嗔斯饫|。

       這是一次意外的事故，各路管網(wǎng)交來(lái)的圖紙顯示，地深5米處，應(yīng)該沒(méi)有通訊設(shè)施。但實(shí)際的情況是，地下被挖斷的光纜甚至超過(guò)了10根，其中2根就是運(yùn)營(yíng)商為微信提供的光纜，同時(shí)還有其他世界500強(qiáng)企業(yè)也因此通訊中斷。

       最先發(fā)現(xiàn)異常的是運(yùn)營(yíng)商，它們的網(wǎng)絡(luò)監(jiān)測(cè)系統(tǒng)第一時(shí)間發(fā)現(xiàn)區(qū)域內(nèi)管線(xiàn)出現(xiàn)問(wèn)題，并立刻聯(lián)系在當(dāng)?shù)厥┕さ某墙ü竞碗娏菊归_(kāi)排查。

       此時(shí)，從上海到北京、浙江、廣東，到更多地區(qū)，越來(lái)越多的微信用戶(hù)發(fā)現(xiàn)，自己無(wú)法登錄微信。他們開(kāi)始在各個(gè)社交網(wǎng)站發(fā)問(wèn)，“微信怎么了”，“我和我的小伙伴失去了聯(lián)系”……短短數(shù)小時(shí)內(nèi)，幾個(gè)微博平臺(tái)，與微信故障有關(guān)的微博就已達(dá)到上億條，甚至出現(xiàn)了“微信遭受了上海等黑客團(tuán)隊(duì)的攻擊”等流言。

        騰訊對(duì)記者表示，負(fù)責(zé)微信機(jī)房的工作人員也發(fā)現(xiàn)了數(shù)據(jù)異常，且與運(yùn)營(yíng)商發(fā)現(xiàn)問(wèn)題的時(shí)間基本一致。但直到9點(diǎn)26分，也就是光纜中斷1個(gè)半小時(shí)之后，微信團(tuán)隊(duì)才對(duì)外發(fā)布第一條微博，稱(chēng)“由于服務(wù)器基礎(chǔ)網(wǎng)絡(luò)故障，您的微信暫時(shí)可能出現(xiàn)收發(fā)問(wèn)題。我們正在玩命恢復(fù)中，請(qǐng)各位小主耐心等待”。

       又一個(gè)1個(gè)半小時(shí)后，騰訊微信團(tuán)隊(duì)11點(diǎn)在官方微博上公布了宕機(jī)原因：

       “機(jī)房?jī)陕饭饫|出現(xiàn)硬件故障，導(dǎo)致部分用戶(hù)無(wú)法正常登陸和收發(fā)信息”。據(jù)記者了解，在光纜被挖斷之后，微信團(tuán)隊(duì)做出的補(bǔ)救方案，是進(jìn)行數(shù)據(jù)遷移。30%的用戶(hù)數(shù)據(jù)被遷移到其他的機(jī)房，但由于華東、華南地區(qū)的機(jī)房冗余不足，不堪重負(fù)，撲天蓋地而來(lái)的數(shù)據(jù)請(qǐng)求，讓各地機(jī)房的數(shù)據(jù)處理能力也迅速達(dá)到飽和，最終導(dǎo)致了微信業(yè)務(wù)的幾乎全線(xiàn)崩潰。此時(shí)，唯一的解決辦法，只剩下了全力搶修更換光纜，并通過(guò)技術(shù)手段逐步恢復(fù)用戶(hù)使用。當(dāng)天下午14點(diǎn)23分，微信團(tuán)隊(duì)終于發(fā)布微博表示，全面恢復(fù)通訊。

        信為何中斷

        實(shí)際上，這并不是微信第一次發(fā)生宕機(jī)事故。4月10日，微信曾因機(jī)房故障發(fā)生10分鐘的中斷。

       但與上一次的短暫中斷不同，此次長(zhǎng)達(dá)6小時(shí)的嚴(yán)重事故，具有更大的影響與意義，僅其引發(fā)的7月23日股價(jià)波動(dòng)，就讓騰訊蒸發(fā)了近百億市值。

        作為中國(guó)最大的互聯(lián)網(wǎng)公司之一，騰訊究竟為微信配置了怎樣的基礎(chǔ)架構(gòu)，是如何保證機(jī)房數(shù)據(jù)安全、順暢的?為何因?yàn)?根光纜的中斷，就出現(xiàn)如此致命的網(wǎng)絡(luò)問(wèn)題?

        記者了解到，騰訊在上海設(shè)有多處機(jī)房，分別與不同運(yùn)營(yíng)商合作，出于成本考慮，這些機(jī)房既有合建，亦有自建。微信機(jī)房采用分布式架構(gòu)，通過(guò)云平臺(tái)實(shí)現(xiàn)多機(jī)房互聯(lián)。此次被挖斷的光纜正是連接微信在華東區(qū)核心服務(wù)器所在機(jī)房，另一頭連接著具有索引功能的機(jī)房。

       實(shí)際上，微信在全國(guó)的機(jī)房架構(gòu)均是遵循交互式的布局方式，因?yàn)椴荒軐⑺械碾u蛋都放置到同一個(gè)籃子里。面對(duì)4億用戶(hù)群體，微信不可能、也不會(huì)將所有的用戶(hù)集中在一家服務(wù)器上。也就是說(shuō)北京的用戶(hù)數(shù)據(jù)不全存儲(chǔ)在北京的機(jī)房里上，有可能存儲(chǔ)在上海、廣東等地的機(jī)房。而上海的光纜斷了，會(huì)影響到存儲(chǔ)到本地的北京、上海、廣東、浙江等地的用戶(hù)。

       一般來(lái)說(shuō)，大型公司為保證機(jī)房數(shù)據(jù)安全會(huì)設(shè)置光纖通信雙保護(hù)，一旦其中一條光纜出現(xiàn)故障，可迅速切入另一條光纜，以保證數(shù)據(jù)傳輸。《財(cái)經(jīng)國(guó)家周刊》記者了解到，此次，騰訊與上海運(yùn)營(yíng)商合作，已明確要求使用雙光纜。

        但從此次的宕機(jī)故障來(lái)看，這兩條光纜卻還是被放在了同一個(gè)管道中，變成了“雙光纜、單路由”。

       這就好比為了防止堵車(chē)，運(yùn)營(yíng)商應(yīng)該為騰訊提供兩條不同的路，一旦A車(chē)被堵在了A路上，任務(wù)可由B車(chē)通過(guò)B路完成。但現(xiàn)在，兩條路卻重疊在了一起，并且同時(shí)中斷。

       據(jù)悉，之前因?yàn)殡p光纜單路由的設(shè)置，曾導(dǎo)致QQ連接故障，所以騰訊一些重要的機(jī)房被改為雙光纜雙路由。但這個(gè)經(jīng)驗(yàn)顯然未被復(fù)制到微信上。“同時(shí)受到光纜被砍斷影響的業(yè)務(wù)還有QQ的其他一些業(yè)務(wù)。”騰訊公關(guān)部總經(jīng)理助理張軍電話(huà)里對(duì)記者說(shuō)。

       對(duì)于用戶(hù)規(guī)模越來(lái)越大的騰訊，其在基礎(chǔ)設(shè)施的花費(fèi)也變得龐大起來(lái)。騰訊財(cái)報(bào)顯示，“移動(dòng)及電信收費(fèi)以及頻寬及服務(wù)器托管費(fèi)”位列開(kāi)支項(xiàng)目中前三。從2004年到2012年期間，增長(zhǎng)超過(guò)10倍，從3.16億元增至34.08億元。

        宕機(jī)后遺癥

        微信宕機(jī)事件，再一次為互聯(lián)網(wǎng)企業(yè)們拉響了警鐘。

        當(dāng)前，在信息化浪潮的沖擊下，每個(gè)國(guó)家的政治、軍事、經(jīng)濟(jì)、民生，乃至每個(gè)人的生活與娛樂(lè)，都越來(lái)越依賴(lài)互聯(lián)網(wǎng)，一旦互聯(lián)網(wǎng)自身出現(xiàn)安全問(wèn)題，所造成的影響將在更大的領(lǐng)域擴(kuò)散，甚至可能引發(fā)更大危機(jī)。

       事實(shí)上，騰訊不是第一個(gè)、也絕不可能是最后一個(gè)出現(xiàn)宕機(jī)現(xiàn)象的互聯(lián)網(wǎng)公司。在此之前，新浪微博就曾兩度出現(xiàn)宕機(jī)現(xiàn)象，而Google、維基百科也曾因各種原因數(shù)度宕機(jī)。

       對(duì)互聯(lián)網(wǎng)公司來(lái)說(shuō)，每一次宕機(jī)，都有可能導(dǎo)致大量的用戶(hù)離開(kāi)。據(jù)IDC調(diào)查顯示，1990-2000年間，美國(guó)發(fā)生過(guò)數(shù)據(jù)災(zāi)難的公司中，55%當(dāng)時(shí)倒閉，29%在兩年內(nèi)倒閉，生存下來(lái)的僅占16%。

       調(diào)研機(jī)構(gòu)Qualix Group的一組數(shù)字，更說(shuō)明了不同行業(yè)關(guān)鍵業(yè)務(wù)中斷帶來(lái)的金錢(qián)損失：服務(wù)器宕機(jī)1分鐘，平均會(huì)使運(yùn)輸業(yè)損失15萬(wàn)美元，銀行業(yè)損失27萬(wàn)美元，通信業(yè)損失35萬(wàn)美元，制造業(yè)損失42萬(wàn)美元，證券業(yè)損失45萬(wàn)美元……

       而涉及到政府、國(guó)防、安全、電信、金融、交通和醫(yī)療等關(guān)系到國(guó)計(jì)民生的行業(yè)的關(guān)鍵業(yè)務(wù)，需要遵循“5個(gè)9(99.999%)”、“6個(gè)9”、甚至是“7個(gè)9”的標(biāo)準(zhǔn)。這意味著一臺(tái)服務(wù)器每年的非計(jì)劃停機(jī)時(shí)間分別只有5分鐘、30秒和3秒鐘。

        合來(lái)看，目前出現(xiàn)的各類(lèi)宕機(jī)，可以歸結(jié)為六大類(lèi)：網(wǎng)絡(luò)故障、應(yīng)用系統(tǒng)本身產(chǎn)生的問(wèn)題、基礎(chǔ)設(shè)施問(wèn)題、系統(tǒng)部署方案不合理，人為原因(如黑客攻擊)以及硬件故障。

       易觀國(guó)際分析師閆小佳表示，在IT行業(yè)出現(xiàn)宕機(jī)并不鮮見(jiàn)，關(guān)鍵是要看企業(yè)能否在第一時(shí)間及時(shí)發(fā)現(xiàn)和解決問(wèn)題，要看企業(yè)平時(shí)是否能建立一個(gè)良好的應(yīng)急機(jī)制。此外，宕機(jī)也從一個(gè)側(cè)面揭示出，包括帶寬、云存儲(chǔ)等在內(nèi)的國(guó)內(nèi)互聯(lián)網(wǎng)的“基礎(chǔ)設(shè)施建設(shè)”目前仍跟不上用戶(hù)及市場(chǎng)發(fā)展的需要，這應(yīng)成為今后行業(yè)需要加快發(fā)展的又一重點(diǎn)。(記者 徐英)