一個(gè)小小的故障就可能造成巨大的負(fù)面影響，因此穩(wěn)定性工作復(fù)雜卻又至關(guān)重要。本文將通過(guò)故障預(yù)防、修復(fù)、復(fù)盤(pán)來(lái)講解該如何建設(shè)一個(gè)穩(wěn)定性體系。

?

來(lái)到阿里后，我的工作內(nèi)容一直都是商品中心的穩(wěn)定性，這份工作對(duì)于我個(gè)人在技術(shù)和經(jīng)驗(yàn)上的成長(zhǎng)提升是無(wú)比巨大的。在我看來(lái)，穩(wěn)定性是一個(gè)極為復(fù)雜的工作，對(duì)人的能力考驗(yàn)極大，本文希望和大家一起了解：

?

?

?

?

?

?

?

在我看來(lái)，穩(wěn)定性工作是指日常保障系統(tǒng)安全生產(chǎn)的同時(shí)，利用技術(shù)手段以及規(guī)范開(kāi)發(fā)流程，使系統(tǒng)在不斷的業(yè)務(wù)迭代中熵增達(dá)到最小化的一種工作。作為一家互聯(lián)網(wǎng)公司，穩(wěn)定性工作本質(zhì)上就是保障安全生產(chǎn)。一個(gè)故障，就可能會(huì)造成很大的負(fù)面影響，舉例幾個(gè)之前有過(guò)耳聞的故障：

?

?

?

?

由此可見(jiàn)，集團(tuán)內(nèi)部的故障，輕則影響用戶體驗(yàn)、商家體驗(yàn)，重則對(duì)人民財(cái)產(chǎn)造成重大損失；因此，保障安全生產(chǎn)是企業(yè)發(fā)展的頭等大事。

?

?

穩(wěn)定性的事情看上去可能比較散，但結(jié)合我自己的思考，我將穩(wěn)定性的價(jià)值體系劃分為幾個(gè)方面：

?

?

1）日常穩(wěn)定性

?

① 業(yè)務(wù)保障

?

大促保障、業(yè)務(wù)日常的答疑等等，通過(guò)這些事情，穩(wěn)定性同學(xué)會(huì)與業(yè)務(wù)同學(xué)配合，從底層性能、技術(shù)層面，更好地推動(dòng)業(yè)務(wù)向前發(fā)展。日常的答疑工作是穩(wěn)定性同學(xué)投入時(shí)間最多的內(nèi)容之一，很多問(wèn)題都會(huì)第一時(shí)間流入到穩(wěn)定性同學(xué)手中：

?

?

?

?

對(duì)于體量較大、較為核心的團(tuán)隊(duì)，一天涌入的問(wèn)題是很多的，我們的思考和處理方案如下：

?

?

?

2）大促 & 活動(dòng)保障

?

穩(wěn)定性另一個(gè)核心就是負(fù)責(zé)大促和重?；顒?dòng)。每一次大促，上到業(yè)務(wù)，下到中臺(tái)、基礎(chǔ)設(shè)施，都需要抽出人力進(jìn)行保障，每個(gè)域的穩(wěn)定性同學(xué)則是其中的中堅(jiān)力量。下面我著重從流程和內(nèi)容上講一下大促保障手段，可能不同同學(xué)面臨的場(chǎng)景不同，但整個(gè)理論應(yīng)該是相通的：

?

① 保障流程

?

?

?

?

?

?

?

② 工作內(nèi)容

?

大促穩(wěn)定性保障的工作比較復(fù)雜，在這里先放一張圖，讓沒(méi)有參與過(guò)大促的同學(xué)來(lái)點(diǎn)體感：

?

?

雖然看起來(lái)簡(jiǎn)單，但真實(shí)的保障過(guò)程遠(yuǎn)比這些事情更多，面臨的壓力也比想象的大很多，即使在大促日漸常態(tài)化的今天，參與大促保障、經(jīng)歷阿里千萬(wàn)級(jí)復(fù)雜流量模型洗禮仍然是提高個(gè)人能力的最佳方式。

?

3）優(yōu)化專項(xiàng) & 鏈路治理

?

保障業(yè)務(wù)不斷發(fā)展時(shí)，由于系統(tǒng)不斷的迭代，必然會(huì)導(dǎo)致熵增，原來(lái)可能較為穩(wěn)定的鏈路，會(huì)因?yàn)榈粩喔?。同時(shí)，如618、雙11等大型活動(dòng)，也不斷挑戰(zhàn)系統(tǒng)的極限。一句話來(lái)總結(jié)：業(yè)務(wù)發(fā)展（系統(tǒng)變更）不斷的挑戰(zhàn)著我們系統(tǒng)的穩(wěn)定性，我們需要持續(xù)不斷的進(jìn)行性能優(yōu)化，保障系統(tǒng)的高可用，來(lái)適應(yīng)越來(lái)越龐大的業(yè)務(wù)。不同的優(yōu)化專項(xiàng)，在不同的場(chǎng)景下做法可能也不同，風(fēng)險(xiǎn)也會(huì)比日常的需求高很多。

?

?

① 產(chǎn)生變更

?

隨著業(yè)務(wù)不斷的迭代，不可避免地會(huì)發(fā)生變更，如更新代碼、發(fā)布配置或做運(yùn)維層面的變更等，而這些變更則可能引入一些未知的問(wèn)題，這些問(wèn)題可能會(huì)瞬間暴露出來(lái)，或積壓一段時(shí)間后噴涌式的爆發(fā)，一般來(lái)說(shuō)，后者產(chǎn)生的影響可能會(huì)更大一些。

?

② 發(fā)現(xiàn)問(wèn)題

?

故障定級(jí)經(jīng)常會(huì)講提前發(fā)現(xiàn)，如果能夠提前發(fā)現(xiàn)故障，不僅能降低或者避免因故障帶來(lái)的損失，也能將故障等級(jí)縮小。那么，如何主動(dòng)發(fā)現(xiàn)由變更產(chǎn)生的問(wèn)題？這一部分則要依賴穩(wěn)定性建設(shè)時(shí)比較重要的一環(huán) — 監(jiān)控告警：

?

?

?

?

當(dāng)然，監(jiān)控不可能百分之百覆蓋到所有的問(wèn)題，也有很多問(wèn)題會(huì)從其他側(cè)反饋過(guò)來(lái)，此時(shí)就要盤(pán)點(diǎn)出自己的監(jiān)控體系中到底還有哪些疏漏，并逐漸完善。

?

③ 解決問(wèn)題

?

大致為高可用問(wèn)題和數(shù)據(jù)一致性問(wèn)題兩類，針對(duì)不同場(chǎng)景有不同的解決方法，高可用問(wèn)題大家可能比較熟悉了，優(yōu)化起來(lái)目標(biāo)也比較明確，技術(shù)難度有高有低，不詳細(xì)展開(kāi)討論。

?

4）成本縮減

?

大部分的性能優(yōu)化，提升系統(tǒng)的性能僅僅是一方面，另一個(gè)作用則是通過(guò)性能優(yōu)化提高的性能壓縮技術(shù)成本。同時(shí)，效能提升也是與穩(wěn)定性同學(xué)有關(guān)的一件事情，通過(guò)制定更好的開(kāi)發(fā)規(guī)范以及流程，來(lái)幫助同學(xué)們提高開(kāi)發(fā)體驗(yàn)和工作效率，也可以將更多的時(shí)間投入在業(yè)務(wù)發(fā)展上，來(lái)進(jìn)一步促進(jìn)業(yè)務(wù)發(fā)展，從而形成一個(gè)良性循環(huán)。在我個(gè)人看來(lái)，我將成本劃分為兩類：

?

?

?

① 效能提升 — 人力成本

?

人力成本受開(kāi)發(fā)效率影響，效率越高，一個(gè)需求需要的人力成本就越低；影響人力成本的原因有很多，解決方案這里不繼續(xù)展開(kāi)，簡(jiǎn)單列舉幾個(gè)會(huì)影響到人力成本的因素：

?

?

?

?

② 資源管控 — 技術(shù)成本

?

技術(shù)成本主要分為兩類：

?

?

?

計(jì)算成本與存儲(chǔ)成本并不是完全分離開(kāi)的，舉例緩存，空間存儲(chǔ)等中間件，往往是計(jì)算（讀寫(xiě)操作）與存儲(chǔ)并存，那核算成本的方式以長(zhǎng)板為主。

?

在成本縮減中，技術(shù)成本占的比例是最高的，如何幫助縮減掉業(yè)務(wù)增長(zhǎng)時(shí)瘋狂擴(kuò)張的成本，也是穩(wěn)定性同學(xué)的一個(gè)重要課題。

?

5）數(shù)據(jù)治理

?

與數(shù)倉(cāng)領(lǐng)域的同學(xué)不同，穩(wěn)定性同學(xué)很少會(huì)對(duì)數(shù)據(jù)質(zhì)量去做管理，這里提到的數(shù)據(jù)治理，主要是指治理一些會(huì)影響到穩(wěn)定性情況的一些數(shù)據(jù)。比如，某業(yè)務(wù)發(fā)品時(shí)，由于邏輯沒(méi)有對(duì)齊，有些情況下雖然發(fā)品成功，但是會(huì)認(rèn)為發(fā)品失敗，會(huì)不斷進(jìn)行發(fā)布重試，一直失敗一直重試，也沒(méi)有設(shè)置重復(fù)上線，導(dǎo)致同樣一個(gè)商品最多發(fā)了上百萬(wàn)次，使線上某核心鏈路查詢貨商關(guān)系時(shí)大量full gc。

?

一句話總結(jié)：由于鏈路不合理、黑灰產(chǎn)、外部胡亂操作或線上問(wèn)題產(chǎn)出的阻塞鏈路、擴(kuò)大成本的大數(shù)據(jù)內(nèi)容，都算作線上不合理的數(shù)據(jù)治理范圍，每年固定的時(shí)段，穩(wěn)定性同學(xué)會(huì)統(tǒng)一對(duì)這些數(shù)據(jù)做一次治理，降低成本，提升鏈路穩(wěn)定性。

?

?

來(lái)打個(gè)比方，業(yè)務(wù)同學(xué)好比前線打仗的韓信，攻占地盤(pán)，為公司創(chuàng)造業(yè)務(wù)價(jià)值，而穩(wěn)定性的同學(xué)則是維護(hù)大后方的蕭何，為前線的同學(xué)提供保障，維持系統(tǒng)的穩(wěn)定運(yùn)行。如果業(yè)務(wù)發(fā)展不好，則公司無(wú)法維持好經(jīng)營(yíng)，但是如果前方斷糧，系統(tǒng)的性能和穩(wěn)定不足以承載這么大的業(yè)務(wù)體量，那么無(wú)論業(yè)務(wù)再怎么發(fā)展，都是白費(fèi)功夫。保證系統(tǒng)穩(wěn)定安全的運(yùn)行，是穩(wěn)定性同學(xué)最重要的工作。穩(wěn)定性的工作強(qiáng)度很大，同時(shí)對(duì)人的心、腦、體考驗(yàn)也極大。它需要多元能力：

?

1）合格的技術(shù)能力

?

衡量一個(gè)穩(wěn)定性同學(xué)是否能cover住垂直域穩(wěn)定性工作的第一個(gè)重要指標(biāo)，就是他的技術(shù)能力，對(duì)于技術(shù)能力要求的細(xì)節(jié)。日常要保持一直學(xué)習(xí)的心態(tài)，養(yǎng)兵千日，用兵一時(shí)，不能臨時(shí)抱佛腳。在此我不做過(guò)多描述，這里只放一張關(guān)于java基礎(chǔ)核心能力的圖供大家感受一下：

?

?

2）臨危不亂的心理素質(zhì)和強(qiáng)大的身體素質(zhì)

?

從事穩(wěn)定性工作，不論與你是否有關(guān)，相關(guān)業(yè)務(wù)是否了解，遇到的所有問(wèn)題及故障永遠(yuǎn)都是第一處理人，因此見(jiàn)到的問(wèn)題故障會(huì)比一般同學(xué)多出很多，同時(shí)集團(tuán)對(duì)于故障處理的要求非常嚴(yán)格，這時(shí)候就需要你有強(qiáng)大的心理素質(zhì)。身體素質(zhì)自然不用多說(shuō)，如果說(shuō)穩(wěn)定性是業(yè)務(wù)發(fā)展的“1”，那么強(qiáng)壯的身體則是穩(wěn)定性同學(xué)需要的那個(gè)“1”。

?

3）熟能生巧

?

如果說(shuō)技術(shù)能力是排查問(wèn)題需要首要條件，那么熟練度則檢驗(yàn)了一個(gè)穩(wěn)定性同學(xué)是否足夠老成；一個(gè)問(wèn)題新人定位&處理可能需要幾個(gè)小時(shí)，但是成熟的穩(wěn)定性同學(xué)憑借經(jīng)驗(yàn)和工具可能瞬間定位到問(wèn)題的根因，確定解決方法。

?

4）拉通 & 人際交往能力

?

穩(wěn)定性同學(xué)大多都會(huì)參與到橫向任務(wù)，如大促保障、跨域穩(wěn)定性專項(xiàng)等事情中來(lái)，因此，優(yōu)秀的人際交往、協(xié)調(diào)，拉通的能力，也是穩(wěn)定性同學(xué)需要擁有的，與其他團(tuán)隊(duì)緊密協(xié)作、積極配合，也會(huì)為自己和團(tuán)隊(duì)留下較好的口碑，以后推進(jìn)其他事情也可以事半功倍。

?

?

?

?

1）架構(gòu)設(shè)計(jì)

?

穩(wěn)定性工作本身偏向于底層技術(shù)，對(duì)于小、中公司而言，穩(wěn)定性同學(xué)的定義更偏向于“技術(shù)架構(gòu)師”的角色，所以底層技術(shù)架構(gòu)上的設(shè)計(jì)是穩(wěn)定性防線建設(shè)的一部分，簡(jiǎn)單舉幾個(gè)例子：

?

① 容量評(píng)估

?

什么情況下需要進(jìn)行容量評(píng)估？我理解有以下兩種場(chǎng)景：

?

?

?

容量評(píng)估是架構(gòu)設(shè)計(jì)中比較重要的一環(huán)，容量太多會(huì)浪費(fèi)成本，容量太少則會(huì)對(duì)線上可用性產(chǎn)生影響。

?

② 部署架構(gòu) & 容災(zāi)

?

在分布式系統(tǒng)大行其道的今天，容災(zāi)的場(chǎng)景基本在集團(tuán)每個(gè)應(yīng)用中都可以見(jiàn)到，比如集團(tuán)的多單元部署，現(xiàn)在比較常見(jiàn)的架構(gòu)主要是由中心A地（中心 + 混部集群）和單元B地（單元 + 混部集群）兩個(gè)比較大的單元構(gòu)成的，也就是所謂的“兩地”，流量從入口端進(jìn)行轉(zhuǎn)發(fā)。

?

容災(zāi)的重要性不言而喻，如果單純?cè)谝坏刈黾夯?，若遇到天?zāi)人禍等不可避免的物理?yè)p失，將會(huì)導(dǎo)致服務(wù)不可用，事實(shí)上也經(jīng)常出現(xiàn)某單元由于網(wǎng)絡(luò)運(yùn)營(yíng)商的問(wèn)題導(dǎo)致服務(wù)掛掉的情況，這個(gè)時(shí)候就可以通過(guò)從入口處切換跨地調(diào)用來(lái)解決。

?

雖然多地部署的理論比較簡(jiǎn)單，但是部署架構(gòu)的一個(gè)重點(diǎn)在于將流量按照不同的作用去劃分分組，如上圖中的讀、寫(xiě)流量分組是分離的，且讀、寫(xiě)按照不同的上游業(yè)務(wù)也有單獨(dú)拆分分組，這樣就可以保證不會(huì)因?yàn)樯嫌文骋粋€(gè)大業(yè)務(wù)出問(wèn)題導(dǎo)致整個(gè)集群不可用的場(chǎng)景出現(xiàn)。

?

當(dāng)然，每個(gè)應(yīng)用所面臨的場(chǎng)景是不同的，那么如何部署、如何容災(zāi)，也是這個(gè)垂直域穩(wěn)定性同學(xué)需要考慮的問(wèn)題。

?

③ 數(shù)據(jù)一致性保證

?

當(dāng)今的分布式系統(tǒng)，設(shè)計(jì)時(shí)絕大多數(shù)都會(huì)碰到異步鏈路，不管是業(yè)務(wù)上需要異步的去處理數(shù)據(jù)，還是中間件的數(shù)據(jù)同步機(jī)制，如果涉及到異步那就有可能會(huì)出現(xiàn)數(shù)據(jù)一致性問(wèn)題，這與高可用問(wèn)題分別是兩個(gè)方向，但是他們兩個(gè)本質(zhì)上一樣重要，甚至數(shù)據(jù)一致性出現(xiàn)問(wèn)題產(chǎn)生的影響、恢復(fù)的難度要遠(yuǎn)大于高可用問(wèn)題。

?

所以，在系統(tǒng)架構(gòu)設(shè)計(jì)之初，就要做好數(shù)據(jù)一致性的保障措施，完善對(duì)賬機(jī)制，并通過(guò)建立的防線發(fā)現(xiàn)存量和增量的問(wèn)題。每個(gè)域面臨的數(shù)據(jù)一致性問(wèn)題場(chǎng)景不同，對(duì)于偏數(shù)據(jù)存儲(chǔ)的部門(mén)，往往無(wú)法完全厘清模型與模型、數(shù)據(jù)與業(yè)務(wù)之間的關(guān)系，因此防線總會(huì)有疏漏，而一旦數(shù)據(jù)出現(xiàn)問(wèn)題，往往是最難解決的：

?

?

?

整個(gè)數(shù)據(jù)一致性問(wèn)題是一個(gè)非常大的專題，這里只是讓大家稍微有一些體感，想要聊透這個(gè)問(wèn)題需要很長(zhǎng)的篇幅，在這里先放一張之前總結(jié)的資損防控方法圖，供大家參考：

?

?

2）監(jiān)控體系

?

我認(rèn)為監(jiān)控體系的建立是穩(wěn)定性防線體系建設(shè)中最重要，也是難度最大的一環(huán)，線上的系統(tǒng)每天都處于不斷的變化中，這種變化既來(lái)自自身的應(yīng)用迭代，也來(lái)自上游業(yè)務(wù)的不斷調(diào)整，隨著時(shí)間的發(fā)展，業(yè)務(wù)的復(fù)雜度會(huì)變的越來(lái)越高，這時(shí)候就需要一個(gè)非常完善的監(jiān)控機(jī)制，能幫我們快速預(yù)防和發(fā)現(xiàn)線上問(wèn)題，如果沒(méi)有一個(gè)好的監(jiān)控體系，那么維護(hù)系統(tǒng)穩(wěn)定性根本無(wú)從談起。

?

?

雖然說(shuō)起來(lái)簡(jiǎn)單，但是要實(shí)際建立一個(gè)完善的監(jiān)控體系卻是一個(gè)非常之難的事情，即使現(xiàn)有的監(jiān)控體系非常完善，但是隨著時(shí)間的不斷推移，現(xiàn)有的監(jiān)控必然會(huì)隨之腐化，重新完善整套監(jiān)控體系需要投入很大的人力成本（比如人員流動(dòng)后，原有監(jiān)控的運(yùn)行體系沒(méi)有交接，可能需要重新編寫(xiě)等）。

?

如何去建立以及維護(hù)一套完整的監(jiān)控體系，其中的方法比較細(xì)節(jié)，在此列舉幾個(gè)我認(rèn)為比較關(guān)鍵的內(nèi)容：

?

① 監(jiān)控覆蓋面

?

覆蓋面是評(píng)判體系是否足夠優(yōu)秀的第一個(gè)標(biāo)準(zhǔn)，對(duì)于業(yè)務(wù)特別復(fù)雜的接口，覆蓋面越大，發(fā)現(xiàn)問(wèn)題的概率就越高，但是對(duì)于歷史包袱較重或業(yè)務(wù)比較復(fù)雜的系統(tǒng)，覆蓋面做到百分百是不可能的，這里我從增量和存量?jī)蓚€(gè)角度討論一下如何提高監(jiān)控覆蓋面：

?

?

?

其中，可能有的存量問(wèn)題鏈路較難發(fā)現(xiàn)，或短時(shí)間內(nèi)影響面較小，導(dǎo)致無(wú)人關(guān)注，或者一直梳理不出來(lái)，等到某一天問(wèn)題積壓爆發(fā)，這個(gè)問(wèn)題在重存儲(chǔ)的系統(tǒng)中非常明顯，我們正在討論一種解決方案：數(shù)據(jù)聚合分析，即從數(shù)據(jù)共性角度，判斷出非法數(shù)據(jù)，進(jìn)而判斷出非法鏈路。

?

② 降噪 & 健康度

?

降噪是在監(jiān)控中最讓人頭疼的一環(huán)，估計(jì)很多同學(xué)都有過(guò)體會(huì)，大多數(shù)情況下，線上告警出的問(wèn)題并不會(huì)影響線上穩(wěn)定性，這種告警一旦過(guò)多，容易讓人逐漸放松警惕，當(dāng)真正出現(xiàn)重大故障時(shí)往往不能第一時(shí)間發(fā)現(xiàn)。告警的有效性，就是我們常說(shuō)的“監(jiān)控健康度”。

?

很多成熟的監(jiān)控產(chǎn)品，會(huì)將監(jiān)控健康度作為一個(gè)重要的指標(biāo)，當(dāng)監(jiān)控的告警有效性很低時(shí)，會(huì)停用監(jiān)控先進(jìn)行維護(hù)，關(guān)于如何進(jìn)行監(jiān)控降噪提高健康度，我個(gè)人經(jīng)驗(yàn)有如下幾點(diǎn)：

?

?

?

③ 定時(shí)統(tǒng)計(jì) & 復(fù)盤(pán)

?

團(tuán)隊(duì)內(nèi)部要針對(duì)現(xiàn)有的監(jiān)控進(jìn)行定期盤(pán)點(diǎn)，健康度過(guò)低的監(jiān)控要及時(shí)分析原因，并判斷是否可以繼續(xù)啟用，不合理的監(jiān)控關(guān)掉，避免混淆視聽(tīng)和增加監(jiān)控成本。

?

3）流程規(guī)范

?

在日常中，相信大家不難發(fā)現(xiàn)，一些大故障，往往都有幾個(gè)共性：

?

?

?

因此，嚴(yán)格的流程規(guī)范，會(huì)幫助我們及時(shí)發(fā)現(xiàn)和避免很多本不應(yīng)該有的故障，當(dāng)前阿里集團(tuán)的安全生產(chǎn)團(tuán)隊(duì)已經(jīng)將常見(jiàn)的幾乎所有變更流程都進(jìn)行了管控，內(nèi)部如Aone、ChangeFree等平臺(tái)已經(jīng)進(jìn)行了嚴(yán)格的平臺(tái)化的規(guī)范，只要遵循線上正常的發(fā)布流程并加以防范，基本上不會(huì)出現(xiàn)特別大的故障，簡(jiǎn)單說(shuō)一下我認(rèn)為比較關(guān)鍵的幾個(gè)流程：

?

?

?

?

?

?

每個(gè)應(yīng)用根據(jù)自己不同的情況都會(huì)有不同的卡點(diǎn)，不同的應(yīng)用可能有自己的卡點(diǎn)平臺(tái)，這些也可以通過(guò)對(duì)接Aone集成進(jìn)去；至于灰度發(fā)布，大家都很熟悉了，這里就不展開(kāi)討論了。

?

4）混沌工程

?

建立完自認(rèn)為完美的防線之后，肯定需要校驗(yàn)可用率，但是總不能通過(guò)等著線上出問(wèn)題來(lái)檢驗(yàn)防線是否生效，這樣成本就太高了，此時(shí)就需要引入混沌工程，相信大家應(yīng)該都很了解混沌工程了，那么就在這里貼一下相關(guān)的定義：

?

?

混沌工程在阿里集團(tuán)內(nèi)部的體現(xiàn)為故障演練，基本不需要部門(mén)內(nèi)部自行操作，比較出名的有每年集團(tuán)都會(huì)舉辦的紅藍(lán)演練，以及日常經(jīng)常發(fā)生的生產(chǎn)突襲、斷網(wǎng)演練等。

?

故障注入的平臺(tái)，演練時(shí)一般使用集團(tuán)內(nèi)部比較出名的MonkeyKing，具體的使用方法這里不表，市面上有很多開(kāi)源的混沌工程平臺(tái)，原理都是類似的。

?

① 問(wèn)題分類

?

針對(duì)不同種類的問(wèn)題，有不同的注入和恢復(fù)機(jī)制 ，不詳細(xì)展開(kāi)了，上一張分類比較好的大圖：

?

?

② 演練機(jī)制

?

整個(gè)故障演練機(jī)制分為四個(gè)部分，基本上也是所有混沌工程的思路：

?

?

?

?

?

?

即使防線建設(shè)做的再好，但是人難免會(huì)有疏漏，不存在能百分之百攔截故障的防線，如果故障已經(jīng)發(fā)生，那么當(dāng)前的重點(diǎn)就應(yīng)該是快速止損并恢復(fù)。

?

從發(fā)現(xiàn)、處理到復(fù)盤(pán)，阿里集團(tuán)有一套完整的SOP，整個(gè)處理流程非常的規(guī)范，同時(shí)，阿里集團(tuán)對(duì)于高可用故障恢復(fù)的時(shí)間要求非常高，一般來(lái)說(shuō)是1-5-10，即一分鐘發(fā)現(xiàn)，五分鐘止血，十分鐘恢復(fù)，不過(guò)肯定不是所有的故障都能嚴(yán)格達(dá)到這個(gè)高標(biāo)準(zhǔn)，但是處理速度當(dāng)然是越快越好，避免故障升級(jí)。

?

那么下面就從定位、止血、恢復(fù)這三個(gè)階段來(lái)講述一下快恢中具體要做的事情：

?

1）快速定位

?

很多同學(xué)第一次面對(duì)問(wèn)題或者故障時(shí)，往往頭腦空白不知從何查起，如果碰到大故障時(shí)，很多主管在后面圍觀，心情則會(huì)更加緊張，進(jìn)一步拖慢了查問(wèn)題的時(shí)間，那么如何對(duì)線上的故障和問(wèn)題進(jìn)行快速定位呢？

?

首先，在定位問(wèn)題之前，要快速的確認(rèn)是不是屬于本域的問(wèn)題，很多時(shí)候問(wèn)題的表象看似出自于自己的應(yīng)用，但實(shí)則可能是上下游、中間件或者硬件問(wèn)題引起的，如果方向錯(cuò)誤，可能會(huì)拖延故障的處理時(shí)間，放大線上影響和故障等級(jí)，那么如何快速定位，我認(rèn)為可以從變更的角度去入手思考：

?

本域是否發(fā)生過(guò)變更？這個(gè)是最核心的判斷因素之一。

?

如果沒(méi)有，那很大可能跟本域的關(guān)系不大，請(qǐng)注意，這個(gè)變更不僅僅是通常理解上的代碼發(fā)布、配置推送、數(shù)據(jù)操作等，而是所有可能會(huì)對(duì)線上的運(yùn)行環(huán)境產(chǎn)生影響的操作，如代碼中的配置推送，上下線或置換容器等；當(dāng)然，并不是說(shuō)沒(méi)有變更就完全沒(méi)關(guān)系，有些情況也有例外，舉幾個(gè)常見(jiàn)的例子：

?

?

?

?

?

如果發(fā)現(xiàn)存在變更，那么要結(jié)合大盤(pán)，判斷故障的時(shí)間線是否與變更的時(shí)間線吻合或相差不大，如果是的話那么就八九不離十了。

?

在定位到產(chǎn)生問(wèn)題的域后，如果不是自己的問(wèn)題，那么可以盡量協(xié)助排查，如果是域內(nèi)產(chǎn)生的問(wèn)題，那么就要著手開(kāi)始定位根因，這個(gè)時(shí)候就是考驗(yàn)穩(wěn)定性同學(xué)的基本功和經(jīng)驗(yàn)了，同時(shí)也要結(jié)合集團(tuán)給出的一些比較好的產(chǎn)品化工具，例如：

?

① 監(jiān)控大盤(pán)

?

常見(jiàn)的監(jiān)控系統(tǒng)有很多，一些開(kāi)源的監(jiān)控大盤(pán)讓我們面對(duì)大多數(shù)問(wèn)題時(shí)基本不需要去機(jī)器上命令行排查了，對(duì)于不同的場(chǎng)景，用對(duì)了監(jiān)控可以事半功倍。

?

阿里內(nèi)部有各種各樣的大盤(pán)，可以讓集團(tuán)的同學(xué)在處理問(wèn)題時(shí)的速度更快，同樣部分開(kāi)源的大盤(pán)也非常強(qiáng)大，至于如何做產(chǎn)品選型，大家可以自行評(píng)估，思路大概就是如下幾種大盤(pán)：

?

?

?

?

② 分布式日志系統(tǒng)

?

對(duì)于一些代碼層面或業(yè)務(wù)層面的報(bào)錯(cuò)，單純通過(guò)大盤(pán)進(jìn)行深度定位是不現(xiàn)實(shí)的，究其根因還是要到底層去查日志報(bào)錯(cuò)堆棧，這個(gè)時(shí)候就需要用到分布式日志系統(tǒng)了，通過(guò)分布式日志系統(tǒng)采集的信息，可以配置相應(yīng)的大盤(pán)，或直接搜索錯(cuò)誤堆棧，進(jìn)行細(xì)節(jié)上的排查。

?

2）快速止血 & 恢復(fù)

?

之前將問(wèn)題劃分為高可用以及數(shù)據(jù)問(wèn)題，那么也按照這個(gè)分類來(lái)講一下對(duì)應(yīng)的止血 & 恢復(fù)策略：

?

① 高可用問(wèn)題

?

止血與恢復(fù)在高可用問(wèn)題上，大多數(shù)情況是相關(guān)聯(lián)的，止血即恢復(fù)，如：

?

?

?

?

同時(shí)，相信大家都接觸過(guò)高可用問(wèn)題，對(duì)于這類問(wèn)題的快恢也有一定的了解，限于篇幅原因這里就不再一一描述不同高可用問(wèn)題的恢復(fù)策略了，直接在這里引用和拓展一下之前總結(jié)過(guò)的高可用問(wèn)題快恢六招：

?

?

?

?

?

?

?

② 數(shù)據(jù)問(wèn)題

?

數(shù)據(jù)問(wèn)題與高可用問(wèn)題有非常大的差異，高可用問(wèn)題恢復(fù)起來(lái)較為簡(jiǎn)單，通常有比較明確的策略，但數(shù)據(jù)問(wèn)題則不同，我將其分為兩類：

?

?

?

其中，數(shù)據(jù)計(jì)算錯(cuò)誤的恢復(fù)策略較為簡(jiǎn)單，可以直接通過(guò)熔斷、切流等機(jī)制關(guān)閉增量問(wèn)題來(lái)源來(lái)進(jìn)行恢復(fù)止血，數(shù)據(jù)問(wèn)題真正的難點(diǎn)在于存儲(chǔ)錯(cuò)誤，非持久化的數(shù)據(jù)存儲(chǔ)，如緩存，可以通過(guò)熔斷增量問(wèn)題入口，清除存量數(shù)據(jù)來(lái)解決，但是一旦持久化的數(shù)據(jù)臟掉且量級(jí)非常大的話，從數(shù)據(jù)的提取到數(shù)據(jù)的回滾都非常的困難：

?

?

?

?

?

因此，數(shù)據(jù)存儲(chǔ)問(wèn)題或我們常見(jiàn)的資損問(wèn)題，往往主要關(guān)注的不是恢復(fù)時(shí)間，而是主動(dòng)發(fā)現(xiàn)率、止血時(shí)間、資損金額等，因?yàn)橐焖倩謴?fù)量級(jí)很大的數(shù)據(jù)存儲(chǔ)問(wèn)題是不現(xiàn)實(shí)的，往往都是依賴人為提取數(shù)據(jù)以及手動(dòng)恢復(fù)，事實(shí)上針對(duì)數(shù)據(jù)存儲(chǔ)問(wèn)題，也沒(méi)有系統(tǒng)能做到通用化的數(shù)據(jù)回滾策略，因?yàn)槊總€(gè)業(yè)務(wù)、每個(gè)系統(tǒng)的提取數(shù)據(jù)，回滾數(shù)據(jù)的邏輯基本都是不同的，如果依賴平臺(tái)通用邏輯回滾，那么二次故障的概率會(huì)非常高，所以說(shuō)，對(duì)于數(shù)據(jù)存儲(chǔ)問(wèn)題，要做到第一時(shí)間通過(guò)熔斷、切流等機(jī)制止血后，在優(yōu)先保證數(shù)據(jù)絕對(duì)正確的情況下，再進(jìn)行回滾恢復(fù)，不能盲目的追求恢復(fù)時(shí)間。

?

?

1）復(fù)盤(pán) & Action 跟進(jìn)

?

每一次故障都是血的教訓(xùn)，但是以我的視角來(lái)看，發(fā)生故障并不完全是一件壞事，因?yàn)閼?yīng)用系統(tǒng)是人造就的，是人就一定會(huì)犯錯(cuò)，所以系統(tǒng)也不可能保證百分之百的強(qiáng)壯，有問(wèn)題則證明系統(tǒng)、流程還有不足，才能推動(dòng)我們不斷的向前進(jìn)步，這也是我們每一次故障之后要進(jìn)行復(fù)盤(pán)的原因，犯了錯(cuò)并不怕，重要的是如何改正。

?

集團(tuán)對(duì)于故障的復(fù)盤(pán)有一套嚴(yán)格的執(zhí)行流程，大概如下圖所示：

?

?

具體詳細(xì)的復(fù)盤(pán)流程不詳細(xì)展開(kāi)，談?wù)勎艺J(rèn)為復(fù)盤(pán)這個(gè)節(jié)點(diǎn)比較重要的幾個(gè)問(wèn)題：

?

① 三省吾身

?

無(wú)論是自己，亦或是團(tuán)隊(duì)其他同學(xué)導(dǎo)致的故障，一定要問(wèn)自己幾個(gè)問(wèn)題：

?

?

?

?

?

?

② Action 落實(shí)

?

很多時(shí)候，我們都只局限在“這一次”的故障中，而不會(huì)去思考“每一次”。在我看來(lái)，Action真正的作用，不只是為了單純的解決這一次的問(wèn)題，而是要我們舉一反三，從根因上思考，系統(tǒng)中是否還存在與這次故障相同的問(wèn)題？我們要如何分類的去解決，這樣才能真正的將這一次故障的效應(yīng)和Action發(fā)揮最大的作用。

?

2）穩(wěn)定性分享

?

除了穩(wěn)定性的技術(shù)建設(shè)，文化宣導(dǎo)也是基礎(chǔ)建設(shè)的一部分。

?

除了故障方面，穩(wěn)定性同學(xué)所做的底層優(yōu)化專項(xiàng)等偏向于技術(shù)層面的工作，也可以在團(tuán)隊(duì)內(nèi)部或跨部門(mén)做分享，建立工程師文化，培養(yǎng)技術(shù)興趣，以及擴(kuò)大部門(mén)和團(tuán)隊(duì)在集團(tuán)中的影響力，以我所在的商品團(tuán)隊(duì)舉例，每月都會(huì)舉行一次“工程師之夜”的分享會(huì)，包含技術(shù)、業(yè)務(wù)模型等比較有代表性的工作成果，同時(shí)團(tuán)隊(duì)內(nèi)部?jī)?yōu)秀的同學(xué)也會(huì)經(jīng)?？缬蛉プ黾夹g(shù)分享。

?

?

穩(wěn)定性工作遠(yuǎn)比文章里的內(nèi)容要復(fù)雜的多，每一個(gè)單點(diǎn)拉出來(lái)，都能形成一篇文章去介紹，限于篇幅問(wèn)題，無(wú)法將穩(wěn)定性所有的內(nèi)容表達(dá)出來(lái)，這里將我過(guò)去幾個(gè)月的思考和大家分享，歡迎一起交流評(píng)論。最后，也向所有從事穩(wěn)定性工作的同學(xué)致敬，希望各位都能在其中獲得自己想要的成長(zhǎng)和收獲。

?

?

?