本文來自：

劉劍橋 極狐(GitLab) 高級解決方案架構師

首先來看兩個真實的小故事：

1

小 A 公司有 50 人，作為運維人員，小 A 為公司搭建了一個私有化 GitLab 社區(qū)版。

某日，開發(fā)同學發(fā)現不能夠訪問 GitLab 了。小 A 查看發(fā)現磁盤快滿了，經過 15 分鐘擴容后恢復服務。

由于當時只有三四個開發(fā)同學在提交，其他人都在本地寫代碼，因此對公司影響不大。

2

小 B 公司有 500人，作為 SRE，小 B 也為公司搭建了一個私有化 GitLab 社區(qū)版。由于公司規(guī)模不小，所以配置了基礎資源監(jiān)控，像小 A 公司突然發(fā)現滿磁盤容量的問題肯定不會發(fā)生。然而在某上線日，顯示GitLab 服務器 502，很多團隊在公司大群投訴。

小 B 快速排查，發(fā)現 IO 滿了，想查看日志，但日志量過大，來不及定位問題。小 B 花了 15 分鐘重啟，問題得到解決，但免不了要面對 4、5 個團隊投訴，還影響了本年度 SLA 目標。

不止是滿 IO 問題，平時還會遇到代碼倉庫不響應等。小 B 覺得很苦惱，他還有其他運維開發(fā)任務，沒有多余的時間花費在定位問題上。

GitLab 作為源代碼管理 + 一站式 DevOps 平臺，是公司最核心的資產平臺。當公司人數較少時，短時停機對公司影響還不算大；但當公司規(guī)模達到一定級別之后，任何停機均會造成極大損失。

如何避免此類損失？企業(yè)級架構，正是關鍵保障。

什么是企業(yè)級架構？

企業(yè)級架構，通常是指在企業(yè)環(huán)境中設計和構建軟件系統(tǒng)時所遵循的架構原則和指導方針。它的主要目的是為了確保軟件系統(tǒng)能夠高效地滿足企業(yè)的業(yè)務需求，并能夠適應企業(yè)環(huán)境中的變化和挑戰(zhàn)。

企業(yè)級軟件架構通常包括對軟件系統(tǒng)的總體設計方案、技術架構、數據架構以及安全架構等方面的指導和約束。

為什么要搭建企業(yè)級架構？

從前面的故事中也可以看出，不同規(guī)模的企業(yè)，對于企業(yè)級架構有著不同的訴求。但大家有著基本一致的目的，即實現更好的用戶體驗、降本增效和信息安全。

更好的用戶體驗

企業(yè)級架構有助于企業(yè)提高自身整體運營能力，從而有助于進行更好信息化建設和基礎設施建設?；A設施的穩(wěn)定性和可用性，能夠降低開發(fā)者負擔，提供更好的用戶體驗。

降本增效

首先我們先說 “反模式” 概念。Martin Fowler 的一篇文章在討論內部質量對于一個項目的重要性時，提到 “反模式”，即低質量項目開發(fā)得更快，成本更低，所以在商業(yè)決策時，就有很多人傾向于先做功能，而不做質量。

在搭建賴以生存的基礎架構系統(tǒng)時，同樣存在一些公司重功能而不重質量?？上攵?，隨著項目開發(fā)深入，其修改成本也會越來越高。如下圖所示，調研發(fā)現拐點來得很早，一般在項目的前幾周就會發(fā)生。低質量項目一旦過了這個拐點，成本就會比高質量項目高很多。

人們會習慣性的認為質量和成本是一枚硬幣的兩面，殊不知質量其實是降低成本的金字塔基石。

當我們把這個思路推廣到內部生產系統(tǒng)，生產系統(tǒng)的可靠性也是高質量生產（編碼）的基石，不穩(wěn)定的源代碼系統(tǒng)會帶來很多具體成本，阻礙企業(yè)可持續(xù)發(fā)展。因此，企業(yè)級構架是企業(yè)降本增效的有效舉措。

信息安全

對于生產系統(tǒng)，無論是軟件還是硬件，安全都是不可或缺的。在木桶理論中，安全是一個木桶的底線；在泛信息系統(tǒng)的安全等級中，也有機密性、完整性、可用性三大要素。而可用性受到的影響，也會影響安全評級。所以企業(yè)級架構是一套安全的信息化系統(tǒng)的必要組成部分，是信息安全的保障之一。

常見的 “反模式” 企業(yè)級架構及其缺點

在現實中，我們看到了各種企業(yè)級架構方案，包括了 NFS、rsync、多實例節(jié)點以及其他反模式，它們通常存在如下缺點。

1. NFS 企業(yè)級網絡文件共享方案

NFS 是常見的共享存儲機制，大家會自然地使用它作為 git 倉庫存儲。但會遇到以下兩種問題：

IO 慢問題

NFS 并不適合處理大批量小文件，經常遇到在處理小文件時的性能問題，導致用戶訪問一個 GitLab 頁面都需要 1 分鐘甚至更長時間。

其原因可能是多樣的，如在較老的 NFS 版本中，碰到了?NFS 的網絡帶寬被 TEST_STATEID 請求占用的情況：https://gitlab.com/gitlab-org/gitlab-foss/-/issues/52017，這是源于? NFS 的一個 Bug，需要升級 NFS 版本并改配置。

在 high-traffic monorepo 場景下，歷史丟失問題

雖說 GitLab 也有 git gc 和 git repack 來組合松散對象，由于 Git 倉庫本身會有很多小文件，盡管一些 NFS 提供了對小文件性能優(yōu)化的選項，但未來，這些 NFS mount 的選項會在多節(jié)點間造成不一致，從而導致數據丟失。

比如在 NFS 中，發(fā)生過大倉庫的歷史丟失問題，原因是 NFS v4.0 client 對于過期文件處理不當，沒有重新校驗 inode 和 dentry，導致打開了 stale file，造成了歷史丟失，下面鏈接記錄了如何定位的詳情：https://about.gitlab.com/blog/2018/11/14/how-we-spent-two-weeks-hunting-an-nfs-bug/

針對這個問題，GitLab 自研了 Gitaly?負責 Git 倉庫的存儲和讀寫，將各種 Git 操作暴露為 GRPC 調用。Gitaly 基于的 Golang 優(yōu)秀的多協(xié)程能力也使倉庫處理性能更好。這樣解決了早期 Rails 直接通過 Git 命令行操作 NFS 上的 Git 倉庫，規(guī)模變大后導致的網絡 IO 延遲問題。

2. rsync 自配置 GitLab 主備模式

在實際的情況下，有看到使用 rsync 配置 GitLab 的架構。一般方案如下：

• 使用 rsync 來對于磁盤進行備份，需要配置定時同步時間（如每 5 分鐘同步一次）；

• 將 PG 等數據庫放在外部進行同步。

常見問題：

• 主備模式無法解決大規(guī)模人員導致 load 問題，只能解決一些備份問題，無法達到高可用；

• rsync 相關克隆方式比較原始，如果需要做 A-S 備份，其相對于 GEO 切換更麻煩。

3. 多實例節(jié)點

多實例節(jié)點，即不同部門/團隊使用不同的實例。

這個使用方法由于多套權限體系、多套數據，造成了物理上的部門墻，不同部門間的溝通協(xié)作不暢，極大降低了效率。同時需要更多運維人員來處理不同實例的問題。并且，如果需要基于多實例進行二次開發(fā)，需要考慮的問題比單實例復雜更多。

4. 隨意 “魔改” 架構

極狐GitLab 提供了 Omnibus 安裝方式，讓所有組件可以快速安裝在一臺機器上，使 GitLab 的私有化安裝部署很容易以最快的速度運行起來。

然而，有一些組件的 load 會比較重，所以用戶自己把一些組件拆分單獨部署。如下架構，為了有更多的前端來響應用戶需求，其設計中有多個 rails。

這個架構有比較多的問題，比如 DNS 沒有通過 LB 指向前端，導致前端無法實現真正的負載均衡；比如 Gitaly、DB、Redis 在一臺機器上，引起雪崩效應：

• 單節(jié)點 Gitaly 無法滿足多用戶 I/O，導致 I/O 達到 100% 使用率，此時 Gitaly 產生 hung，影響 Git 倉庫相關功能；

• 而 DB 等由于使用的是同一臺機器，該機器 I/O 爆掉，導致 DB 也無法服務，致使除了 Git 倉庫外的其他功能也受到影響。

在極狐GitLab 支持過的客戶中，還見到過各種 “魔改” 架構，此類架構并沒有經過充分測試，最終導致各種問題。

極狐GitLab 企業(yè)級架構

看完了各種魔改架構之外，我們來一起看看極狐GitLab 提供的企業(yè)級架構。

極狐GitLab 企業(yè)級架構包括高可用可擴展架構與 GEO 多地部署架構，皆經過了?GitLab Performance Tool?的充分測試，能夠更好的為企業(yè)服務。

如何判斷自己需要哪一種的極狐GitLab 企業(yè)級方案？可以依照下面兩個流程圖來判斷：

判斷需要哪種架構來滿足高可用需求：

判斷是否需要 Geo 多地部署：

1. 方案：面向不同團隊規(guī)模的兩種架構

極狐GitLab 高可用可擴展架構

極狐GitLab 的高可用和擴展性源自全球最大代碼托管平臺之一的 GitLab.com 十多年的技術實踐沉淀。在整體架構設計上不存在單點故障，并結合負載均衡、水平伸縮、分布式架構、主從多副本機制和云原生等多種機制，實現理論上無限擴展的能力。

極狐GitLab 提供支撐從 1000 人到 50000 人規(guī)模的架構最佳實踐參考和專業(yè)服務支持，為企業(yè)構建高度可靠 DevOps 研運平臺保駕護航。

例如，對于 3000 以內的研發(fā)人員（隨著人員增加，節(jié)點數會有一定調整），提供以下高可用架構：

• Application Server 處理實時和異步請求，至少 2 節(jié)點實現 HA；

• PostgreSQL 采用 Consul 方案，Redis 使用Sentinel，至少 3 節(jié)點把相關組件部署在一起實現高可用；

• 代碼倉庫存儲在 Gitaly 節(jié)點，建議使用 3 個節(jié)點保證高可用；Praefect 作為 Gitaly 節(jié)點的 proxy/router，至少需要 3 節(jié)點；

• 共享存儲建議使用對象存儲。

極狐GitLab Geo 多地部署架構

當開發(fā)團隊分布在兩個或多個地理位置，但他們的極狐GitLab 實例位于一個位置時，獲取和克隆大型存儲庫可能需要很長時間。

極狐GitLab Geo 專為分布式團隊構建，允許用戶的極狐GitLab 實例的只讀鏡像，減少克隆和獲取大型存儲庫所需的時間，并改進用戶協(xié)作流程。

它是如何工作的？

• 項目存儲庫和數據庫（包括用戶帳戶、問題、合并請求、組、項目數據等）都復制到用戶的輔助實例上；

• 使用只讀鏡像，用戶可以更快地獲取項目和讀取數據，同時仍將所有更改推送到主服務器；

• 所有復制操作都是異步的，并在它們發(fā)生時排隊等待調度。

?

2. 價值：極狐GitLab 企業(yè)級架構提供更好用戶體驗，助益降本增效，保障系統(tǒng)安全

極狐GitLab 企業(yè)級架構的兩種方案：高可用可擴展架構和 GEO 多地部署架構，使得企業(yè)在擴張的時候，作為源代碼管理和持續(xù)集成流水線的平臺也可以同步擴容。

使用了極狐GitLab 企業(yè)級架構之后：

一、高可用：降低故障頻率，實現更好的用戶體驗

• 降低軟件故障頻率和影響，確保系統(tǒng)即使在遇到意外中斷或故障時也能繼續(xù)運行；

• 有助于提高軟件系統(tǒng)的用戶體驗和滿意度，用戶可以依賴它隨時訪問和響應，提升用戶整體體驗。

二、高可靠：更加健壯和穩(wěn)定的系統(tǒng)，節(jié)省運維成本，創(chuàng)造業(yè)務價值

• 高可靠對于用戶執(zhí)行重要任務所依賴的關鍵任務系統(tǒng)尤為重要。開發(fā)者可以專注于開發(fā)，從而創(chuàng)造更多的價值；

• 高可靠也能夠節(jié)約運維時間和成本。比如之前運維人員需要每周定位一次或重啟一次；擁有企業(yè)級架構后即可把更多的時間放在業(yè)務開發(fā)和自動化上。

三、高安全：保障數據安全，護航系統(tǒng)安全

• 從安全的可用性和完整性來說，多節(jié)點架構都可以達到更高的目標，從而使得系統(tǒng)更加安全；

• 不穩(wěn)定的軟件通常更容易受到安全漏洞攻擊，因為可能存在更多可被攻擊者利用的錯誤和其他漏洞。穩(wěn)定的軟件系統(tǒng)不太可能存在此類漏洞，有助于保護敏感信息并防止數據丟失或被盜。

3. 服務：極狐GitLab 企業(yè)級架構的搭建服務

看到這，你可能會有疑問：

• 我不是很懂 HA 或者 GEO，要如何搭建？

• 我已經有一個 GitLab 在運行中了，如何以最小代價升級為企業(yè)級架構？

極狐GitLab 針對于這種情況，提供了專業(yè)服務：

• 專業(yè)服務團隊，豐富實施經驗，能夠應對各種場景和網絡環(huán)境搭建高可用集群；

• 同時提供自動化的方式，高效完成搭建，快速達成客戶的高可用目標；

• 保障性能，搭建前有相應的 dry run，確認環(huán)境正常；搭建完成之后都會進行性能測試，確保能夠達到性能要求。

4. 典型案例

極狐GitLab 企業(yè)級架構已經在多個行業(yè)客戶場景中實踐落地，產生了立竿見影的客戶價值，助力客戶成功。

??案例 1：某國內頭部視頻網站

從響應慢且每 2 個月宕機一次，到響應速度 5 倍提升的高穩(wěn)定系統(tǒng)

在采用企業(yè)級架構之前，該客戶采用單機本地部署，但開發(fā)人員數達到 2000 人以上后，穩(wěn)定性壓力大，平均 2 個月宕機一次，對產品交付造成很大的負面影響。并且平臺負載高，高峰期響應慢，開發(fā)效率受到掣肘。尤其在疫情期間，開發(fā)需求大幅增長，每周都有新功能要上線，新版本要發(fā)布，問題更為突出。

經過極狐GitLab 團隊定位發(fā)現，宕機的組件很多，包括：

• 單節(jié)點 Gitaly 撐爆，達到了 rate limit；

• Rails 節(jié)點 CPU 性能達到了 80%，報 500 錯誤；

• Postgres 沒有高可用導致的單點問題。

采用極狐GitLab 企業(yè)級高可用可擴展架構之后：

• 系統(tǒng)穩(wěn)定性大大提高，完美支撐重要交付節(jié)點，保障業(yè)務收益；

• 實現多機可擴展架構，平臺整體性能提高，響應速度最大提高 5 倍，極大改善開發(fā)效率；

• 有效支撐客戶日益增長的產品開發(fā)訴求，助力客戶業(yè)務增長。

??案例 2：某中國頭部智能家電廠商

從每天發(fā)生 500 故障、每月宕機，到半小時? RPO，恢復時間近 50 倍提升

該客戶研發(fā)團隊超千人，在采用企業(yè)級架構之前，有多地開發(fā)，離主站點較遠站點的用戶訪問速度慢，經常引起研發(fā)抱怨。雖說在 IaaS 層有專線方式，但是專線本身比較貴，而且也在高峰期會被其它應用占用帶寬。

除此之外，極狐GitLab 團隊還發(fā)現以下問題：

• 異地訪問員工占 50%，公司群里每天都有人反饋 500 問題；

• 單機壓力過大，平均每月 1 次宕機導致代碼倉庫不可用；

• 災備方案 RPO 差，一天一次冷備，恢復時間超過了 24H。

極狐GitLab 團隊分析了廠商需求之后，提供了高可用? +? Geo 多地部署方案，效果顯著：

• 在高可用情況下，單機壓力減少，宕機頻率大大減少；

• 在異地多站點部署情況下，異地訪問的員工不再抱怨訪問速度慢；

• RPO 目標從 24H 縮短至半小時以內，提升近 50 倍，有效協(xié)助運維部門實現 RPO 目標。

極狐GitLab 企業(yè)級架構方案基于成熟、世界頂尖的技術，已經為近 10 個行業(yè)、超過 100 家客戶落地符合其業(yè)務場景的企業(yè)級架構，并在可用性、可靠性、安全性等多個維度獲得廣泛的用戶肯定。未來，極狐GitLab 陪伴更多來自各行各業(yè)的客戶行穩(wěn)致遠。文章來源地址http://www.zghlxwxcb.cn/news/detail-461703.html

到了這里，關于重磅干貨！一文讀懂「企業(yè)級架構」的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！