當(dāng)前，業(yè)界主流的混沌工程項(xiàng)目基本只關(guān)注如何制造故障的問題，而經(jīng)常做演練相關(guān)工作的工程師應(yīng)該明白，每次演練時(shí)還會遇到以下痛點(diǎn)：

• 檢測當(dāng)前環(huán)境是否符合演練預(yù)設(shè)條件（演練準(zhǔn)入）；

• 業(yè)務(wù)流量是否滿足（流量注入）；

• 注入后判斷故障效果是否符合預(yù)期（故障度量）；

• 是否在預(yù)設(shè)時(shí)間內(nèi)恢復(fù)了業(yè)務(wù)服務(wù)（恢復(fù)度量）；

• 復(fù)盤分析總結(jié)風(fēng)險(xiǎn)點(diǎn)。

這也是螞蟻集團(tuán)內(nèi)部混沌工程平臺 XMonkey 在多年復(fù)雜故障演練場景中時(shí)常遇到的問題。

作為螞蟻集團(tuán)研發(fā)、測試、質(zhì)量、SRE 等人員進(jìn)行歷史故障演練和挖掘系統(tǒng)潛在風(fēng)險(xiǎn)的重要平臺，XMonkey 在公司級大規(guī)模紅藍(lán)攻防演練實(shí)踐中沉淀了豐富且專業(yè)的方法論，在業(yè)界有極高的分享價(jià)值?；诮?jīng)驗(yàn)共享與探討的角度，XMonkey 的對外開源版本 ChaosMeta 在近日宣布正式開源。同時(shí)，ChaosMeta 也成為了 OceanBase 生態(tài)伙伴的新成員。

ChaosMeta 能做什么？

混沌工程生命周期

ChaosMeta 是一款面向云原生、自動化演練而設(shè)計(jì)的混沌工程平臺，基于業(yè)界現(xiàn)狀和攻防演練的常見痛點(diǎn)，結(jié)合螞蟻集團(tuán)在混沌工程領(lǐng)域的多年經(jīng)驗(yàn)，提出了混沌工程生命周期模型（見圖1）。該模型覆蓋了“準(zhǔn)入檢測”“流量注入”“故障注入”“故障度量”“恢復(fù)度量”“注入恢復(fù)”等各個(gè)階段的技術(shù)支撐，為自動化混沌工程提供技術(shù)依據(jù)。

圖1 混沌工程生命周期模型

也就是說，ChaosMeta 提供了完整的混沌工程生命周期的一站式演練綜合解決方案，助力用戶快速挖掘業(yè)務(wù)應(yīng)用和系統(tǒng)的潛在風(fēng)險(xiǎn)。除此之外，ChaosMeta 還內(nèi)置了螞蟻集團(tuán)在技術(shù)風(fēng)險(xiǎn)領(lǐng)域多年沉淀的“風(fēng)險(xiǎn)目錄”，這是一份對各技術(shù)領(lǐng)域的基礎(chǔ)通用風(fēng)險(xiǎn)的匯總。

沉淀多年的“風(fēng)險(xiǎn)目錄”

螞蟻集團(tuán)內(nèi)部每年都會舉行公司級大規(guī)模紅藍(lán)攻防演練活動，面向公司全體業(yè)務(wù)，并且也有不少業(yè)務(wù)進(jìn)行 7X24 小時(shí)演練以及月度常態(tài)演練。

演練對象類型覆蓋云產(chǎn)品、Kubernetes、Operator 應(yīng)用、數(shù)據(jù)庫（ OceanBase、MySQL 等）、中間件（消息隊(duì)列、分布式調(diào)度、配置中心等）、業(yè)務(wù)應(yīng)用（交易系統(tǒng)、營銷系統(tǒng)等）等。

以 OceanBase 的攻防演練為例，使用 ChaosMeta 對 OceanBase 集群的任意節(jié)點(diǎn)注入磁盤 I/O 夯的故障，其底層原理是通過使用 cgroup 的 blkio 子系統(tǒng)對 OBServer 進(jìn)程進(jìn)行 I/O 限制，考查 OceanBase 集群對磁盤 I/O 類故障的發(fā)現(xiàn)、定位、自愈的效率；還會隨機(jī)對 OceanBase 集群中任意節(jié)點(diǎn)的 clog、ilog、slog 等日志目錄的磁盤填滿，考查能否快速定位哪個(gè)節(jié)點(diǎn)的哪個(gè)日志目錄被填滿并進(jìn)行相應(yīng)的應(yīng)急處理。

對于每種類型的應(yīng)用，都能抽象出一些比較通用的公共風(fēng)險(xiǎn)：

• 比如消息隊(duì)列，會有消息堆積、消息丟失、消息順序混亂、依賴方網(wǎng)絡(luò)不穩(wěn)定等風(fēng)險(xiǎn)；

• 比如交易系統(tǒng)，會有分布式事務(wù)、金額一致性、并發(fā)沖突等風(fēng)險(xiǎn)；

• 比如數(shù)據(jù)庫，會有磁盤 I/O 故障、磁盤填滿、節(jié)點(diǎn)間網(wǎng)絡(luò)故障等風(fēng)險(xiǎn)。

“風(fēng)險(xiǎn)目錄”是螞蟻集團(tuán)在大型金融互聯(lián)網(wǎng)架構(gòu)環(huán)境下，多年打磨、沉淀而來的一份“風(fēng)險(xiǎn)百科全書”，其中，開源界通用的風(fēng)險(xiǎn)，將會內(nèi)置到 ChaosMeta 中，作為自動化混沌工程的理論依據(jù)。

豐富的云原生故障注入能力

大規(guī)模高頻率的演練活動，推動了各種各樣的故障注入能力建設(shè)。除了業(yè)界常見的系統(tǒng)資源故障、內(nèi)核故障、網(wǎng)絡(luò)故障、JVM 注入等，ChaosMeta 還提供了豐富的云原生故障注入能力。例如：

• 給 Kubernetes 集群堆積大量 pending 狀態(tài)的 pod，拖垮調(diào)度系統(tǒng)；

• 給某個(gè)資源對象的創(chuàng)建流程注入動態(tài)校驗(yàn) Webhook，延長校驗(yàn)時(shí)間，影響創(chuàng)建效率；

• 注入動態(tài)變更 Webhook 使特定字段變異；

• 建立大量 Watch&List 鏈接，加重 APIServer 回調(diào) Operator 的負(fù)擔(dān)等。

以混沌工程生命周期的平臺能力為技術(shù)支撐，“風(fēng)險(xiǎn)目錄”作為理論支撐，使 ChaosMeta 得以朝著自動化混沌工程演進(jìn)。

ChaosMeta 是如何實(shí)現(xiàn)的？

ChaosMeta 的核心平臺能力是基于 Operator 開發(fā)模式實(shí)現(xiàn)的，因此，其天然支持云原生。ChaosMeta 分為三層設(shè)計(jì)（見圖2 ），詳見官方文檔，地址??

https://chaosmeta.gitbook.io/chaosmeta-cn

圖2? ChaosMeta 架構(gòu)設(shè)計(jì)

最上層的用戶層由 chaosmeta-platform 組件構(gòu)成，其主要任務(wù)是降低用戶的使用門檻，提供可視化界面，方便用戶使用計(jì)劃、編排、實(shí)驗(yàn)配置、實(shí)驗(yàn)記錄詳情等平臺功能。

中間的引擎層包含了 ChaosMeta 的遠(yuǎn)程注入、編排、度量等核心平臺能力以及部分云原生故障能力的實(shí)現(xiàn)。

作為底層的內(nèi)核層，主要為單機(jī)故障注入能力的實(shí)現(xiàn)，包含了 chaosmetad 組件，提供了常駐 HTTP 服務(wù)的方式以及命令行執(zhí)行的方式，還封裝了對應(yīng)的 daemonset 組件（chaosmeta-daemonset），可靈活搭配不同需求的演練平臺。

ChaosMeta 的后續(xù)規(guī)劃

ChaosMeta 的規(guī)劃分為平臺能力和故障注入能力兩個(gè)主體路線，當(dāng)前主要任務(wù)是把架構(gòu)圖中的主體能力都完成對外版改造，并進(jìn)行開放。

另外，ChaosMeta 會繼續(xù)加強(qiáng)與 OceanBase 社區(qū)的合作，支持 OceanBase 的故障演練能力。

平臺能力演進(jìn)

ChaosMeta 平臺能力的未來演進(jìn)分為三大階段。

第一階段，人工配置。此階段的目標(biāo)是將架構(gòu)圖中的組件都對外開放，此時(shí)，即可支撐完整的混沌工程生命周期，進(jìn)入初級自動化混沌工程領(lǐng)域，以“風(fēng)險(xiǎn)目錄”作為理論參考，一次人工配置，多次自動執(zhí)行。

第二階段，自動化。此階段下，“風(fēng)險(xiǎn)目錄”會發(fā)揮更大的價(jià)值，它不僅能分析一類應(yīng)用會有什么風(fēng)險(xiǎn)，作出風(fēng)險(xiǎn)評估，還會給出對應(yīng)的預(yù)防以及應(yīng)急建議。ChaosMeta 會將“風(fēng)險(xiǎn)目錄”集成為通用組件的風(fēng)險(xiǎn)體檢套餐，實(shí)現(xiàn)一鍵“體檢”能力，用戶輸入目標(biāo)應(yīng)用信息后，得到風(fēng)險(xiǎn)評分以及風(fēng)險(xiǎn)分析報(bào)告。

第三階段，智能化。探索結(jié)合人工智能的方向，自動生成更多未知的風(fēng)險(xiǎn)場景。

故障注入能力演進(jìn)

圖3 僅為故障能力分類，具體提供的原子故障能力詳見官方文檔（歡迎提交 issue，提出新能力需求，需求較高的優(yōu)先提供）：

圖3 故障能力分類

與 OceanBase 社區(qū)的后續(xù)合作

ChaosMeta 的內(nèi)部版本 XMonkey 近幾年持續(xù)支持 OceanBase 的常態(tài)攻防演練，達(dá)500+次，包含：磁盤 I/O 故障、磁盤填滿（日志盤/數(shù)據(jù)盤）、節(jié)點(diǎn)間網(wǎng)絡(luò)異常等場景，這些攻防演練經(jīng)驗(yàn)將分享到 OceanBase 開源社區(qū)中。文章來源地址http://www.zghlxwxcb.cn/news/detail-700847.html

到了這里，關(guān)于如何使用螞蟻集團(tuán)自動化混沌工程 ChaosMeta 做 OceanBase 攻防演練？的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！