01

起源

ByteHouse 的故事從字節(jié)跳動(dòng)對(duì)于先進(jìn)數(shù)據(jù)處理和分析的需求開(kāi)始，這一需求隨著公司業(yè)務(wù)規(guī)模的迅速擴(kuò)張而日益增長(zhǎng)，起源是對(duì)開(kāi)源數(shù)據(jù)庫(kù)管理系統(tǒng) ClickHouse 的改造和增強(qiáng)。面對(duì)數(shù)據(jù)處理的高延遲、大規(guī)模數(shù)據(jù)操作的復(fù)雜性以及數(shù)據(jù)存儲(chǔ)和處理成本的上升，字節(jié)跳動(dòng)的工程團(tuán)隊(duì)?wèi){借多年積累的技術(shù)能力，對(duì) ClickHouse 進(jìn)行了深度定制，以滿足公司不斷發(fā)展的數(shù)據(jù)需求。例如，團(tuán)隊(duì)通過(guò)優(yōu)化算法和架構(gòu)，顯著降低了數(shù)據(jù)查詢的響應(yīng)時(shí)間，并有效管理了海量數(shù)據(jù)的存儲(chǔ)和處理。在此基礎(chǔ)上，ByteHouse 延續(xù)并優(yōu)化了列式存儲(chǔ)和向量化查詢機(jī)制，可以實(shí)現(xiàn)毫秒級(jí)的分析查詢響應(yīng)時(shí)間。并且，ByteHouse 支持標(biāo)準(zhǔn) SQL 查詢接口，并內(nèi)置了貼合業(yè)務(wù)場(chǎng)景的高級(jí)分析函數(shù)，大幅簡(jiǎn)化了分析模型的構(gòu)建和維護(hù)工作。

ByteHouse 項(xiàng)目的一個(gè)轉(zhuǎn)折點(diǎn)是團(tuán)隊(duì)從 Snowflake 的存算一體架構(gòu)中獲得靈感，進(jìn)而開(kāi)發(fā)了基于 ClickHouse 的存算分離架構(gòu)云原生數(shù)倉(cāng)。這一架構(gòu)使得 ByteHouse 在資源利用效率方面取得顯著提升，并大幅降低了基礎(chǔ)設(shè)施成本。具體來(lái)說(shuō)，這種云原生架構(gòu)通過(guò)自動(dòng)將查詢調(diào)度到不同的虛擬倉(cāng)庫(kù)，并利用 Kubernetes 管理容器化集群，實(shí)現(xiàn)了運(yùn)維成本的顯著降低。

2023 年，ByteHouse 與亞馬遜云科技開(kāi)展合作，共同構(gòu)建了新一代的云數(shù)據(jù)倉(cāng)庫(kù)解決方案。通過(guò)與亞馬遜云科技的無(wú)縫對(duì)接，ByteHouse 可以實(shí)現(xiàn)海量數(shù)據(jù)的彈性存儲(chǔ)（基于 Amazon S3），并支持按需自動(dòng)擴(kuò)展計(jì)算資源（基于 Amazon EKS）。這種云原生的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)，可幫助企業(yè)快速建立一個(gè)統(tǒng)一的、高性能的數(shù)據(jù)分析平臺(tái)。

為實(shí)現(xiàn)這一目標(biāo)，ByteHouse 團(tuán)隊(duì)與亞馬遜云科技團(tuán)隊(duì)進(jìn)行了多次深入交流和討論，并制定了一系列詳細(xì)的架構(gòu)設(shè)計(jì)與性能優(yōu)化方案。本文的重點(diǎn)會(huì)放在存算分離及其對(duì)應(yīng)的性能優(yōu)化過(guò)程，分享 ByteHouse 在這個(gè)過(guò)程中云上部署的一些優(yōu)化經(jīng)驗(yàn)，更多內(nèi)容會(huì)在本系列后續(xù)文章中進(jìn)行介紹。

02

規(guī)劃

原生的 ClickHouse 是采用存算一體的 Shared-Nothing 架構(gòu)，數(shù)據(jù)通常分布存儲(chǔ)在計(jì)算節(jié)點(diǎn)上。這種架構(gòu)確保了高效的并行計(jì)算，但也存在存儲(chǔ)擴(kuò)展性和可靠性上的局限。在轉(zhuǎn)向云上 SaaS 模式后，ByteHouse 借助云計(jì)算的優(yōu)勢(shì)采用了 Amazon S3 這樣成熟的對(duì)象存儲(chǔ)服務(wù)，這使得 ByteHouse 實(shí)現(xiàn)了存算分離架構(gòu)，計(jì)算資源 Shared-Nothing 和存儲(chǔ)資源 Shared-Disk 可以根據(jù)需求獨(dú)立擴(kuò)展，并帶來(lái)了諸多優(yōu)勢(shì)：

• 計(jì)算資源和存儲(chǔ)資源可以根據(jù)實(shí)際需求獨(dú)立擴(kuò)展和收縮，這確保了資源利用效率，不會(huì)出現(xiàn)計(jì)算資源過(guò)剩而存儲(chǔ)資源緊張的情況，以及相反的情況。

• 更方便實(shí)現(xiàn)讀寫分離，讀操作可以直接從對(duì)象存儲(chǔ)中獲取數(shù)據(jù)，不受寫操作的影響；寫操作也可以高效地寫入對(duì)象存儲(chǔ)，不會(huì)影響讀操作。

• 數(shù)據(jù)存儲(chǔ)持久性和可靠性大大提升，S3 經(jīng)典的 11 個(gè) 9。即使計(jì)算節(jié)點(diǎn)因?yàn)楣收蠈?dǎo)致服務(wù)不可用，用戶也可以從 S3 中恢復(fù)數(shù)據(jù)。

ByteHouse 技術(shù)架構(gòu)如下所示：

同時(shí)，在設(shè)計(jì)時(shí) ByteHouse 還要保證云上 SaaS 服務(wù)之間的多租戶隔離，這里包括應(yīng)用管理、資源管理和用戶管理等。

03

優(yōu)化

在最早期的 S3 對(duì)接過(guò)程中，我們發(fā)現(xiàn)不做任何調(diào)優(yōu)直接使用 S3 時(shí)，吞吐、延時(shí)和預(yù)期存在一定差距。S3 的對(duì)象存儲(chǔ)本質(zhì)上是為大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)設(shè)計(jì)的，而 ByteHouse 等分析數(shù)據(jù)庫(kù)需要頻繁地進(jìn)行小粒度、高并發(fā)的對(duì)象訪問(wèn)，需要進(jìn)一步的優(yōu)化和調(diào)整。因此，一開(kāi)始直接使用的話在性能方面還是有一定的不足，主要體現(xiàn)在：

• 對(duì)象存儲(chǔ)對(duì)比 HDFS 等分布式文件系統(tǒng)來(lái)說(shuō)，我們觀察到 P70 Latency 要大 5-10 倍，且有偶發(fā)的抖動(dòng)以及多租戶影響

• 以 ClickHouse MergeTree 為主的數(shù)據(jù)訪問(wèn)模型，在 DFS 上占有 40% 左右的小 IO，DFS 上的 IO 預(yù)讀、小 IO 合并、并發(fā)模型和條帶化處理等，都無(wú)法在對(duì)象存儲(chǔ)上直接套用

從 ByteHouse IO Layer 來(lái)看，理想狀態(tài)下，延時(shí)和容量的層次圖如下所示：

IO 棧的優(yōu)化基礎(chǔ)，其實(shí)就是訪問(wèn) S3 的時(shí)候，如何壓榨資源，得到盡可能好的冷讀性能。為此，ByteHouse 團(tuán)隊(duì)與亞馬遜云科技團(tuán)隊(duì)進(jìn)行了多次深入交流和討論，并制定了一系列的性能優(yōu)化方案，主要從計(jì)算層、存儲(chǔ)層和網(wǎng)絡(luò)層三個(gè)方面進(jìn)行調(diào)整。

P.S. 有關(guān)在高性能數(shù)據(jù)分析領(lǐng)域和 S3 的有效結(jié)合，我們也學(xué)習(xí)并參考了《Exploiting Cloud Object Storage for High-Performance Analytics》論文，推薦閱讀～

• Exploiting Cloud Object Storage for High-Performance Analytics

  https://www.vldb.org/pvldb/vol16/p2769-durner.pdf

3.1 計(jì)算

計(jì)算層方面，經(jīng)過(guò)詳細(xì)評(píng)估，我們選擇了面向不同場(chǎng)景的 EC2 實(shí)例類型以匹配不同的工作負(fù)載需求。在 OS 上我們也進(jìn)行了多組參數(shù)調(diào)優(yōu)，通過(guò)針對(duì)性的編譯優(yōu)化和代碼優(yōu)化進(jìn)一步提升了計(jì)算效率，找到適合 ByteHouse 請(qǐng)求的線程數(shù)、隊(duì)列深度、批量大小等配置。同時(shí)，我們采用了容器化的方式對(duì)計(jì)算資源進(jìn)行管理，Amazon EKS 幫助 ByteHouse 簡(jiǎn)化了集群的創(chuàng)建、配置和管理的全過(guò)程。此外，我們計(jì)劃對(duì) Graviton 系列的 Arm 實(shí)例進(jìn)行測(cè)試，以期待能為 ByteHouse 帶來(lái)更高的性價(jià)比。

S3 客戶端方面，ByteHouse 在后端訪問(wèn)時(shí)采用的是 C 語(yǔ)言，一開(kāi)始我們采用的是 C SDK中的默認(rèn)客戶端（可以參考示例一），但是測(cè)試過(guò)程中性能和預(yù)期存在一定差距。接著，ByteHouse 團(tuán)隊(duì)測(cè)試了亞馬遜云科技團(tuán)隊(duì)推薦的 Amazon Common Runtime 優(yōu)化庫(kù)，簡(jiǎn)稱 CRT（可以參考示例二）。CRT 是 SDK 的基礎(chǔ)庫(kù)，也是一系列獨(dú)立的模塊化的家族集合，用 C 語(yǔ)言編寫，每個(gè)包提供極致性能和并最小化資源占用。這些功能在所有 SDK 中都是可以通用和共享的（可以參考博客《Accelerate Amazon S3 throughput with the Amazon Common Runtime》），提供了更好的代碼重用性、性能優(yōu)化和準(zhǔn)確性。

• 示例一

  https://github.com/awsdocs/aws-doc-sdk-examples/blob/main/cpp/example_code/s3/list_buckets.cpp
  

• 示例二

  https://github.com/awsdocs/aws-doc-sdk-examples/blob/main/cpp/example_code/s3-crt/s3-crt-demo.cpp
  

• Accelerate Amazon S3 throughput with the Amazon Common Runtime

  https://aws.amazon.com/blogs/storage/improving-amazon-s3-throughput-for-the-aws-cli-and-boto3-with-the-aws-common-runtime/

CRT 庫(kù)形成了一個(gè)略微復(fù)雜的關(guān)系和依賴網(wǎng)絡(luò)，如下所示：

CRT 整體采用了模塊化的結(jié)構(gòu)，因此 ByteHouse 針對(duì)特定部分的需求替換為對(duì)應(yīng)的庫(kù)即可。其中，amazon-crt-cpp 中封裝了使用 CRT 庫(kù)所需的子模塊。為了加速 S3 的網(wǎng)絡(luò)請(qǐng)求，減少 CPU 同步等待網(wǎng)絡(luò) I/O 的時(shí)間，ByteHouse 嘗試使用 CRTHttpClient 替換 Amazon SDK 中默認(rèn)的 HttpClient。CRTHttpClient 不僅在內(nèi)部封裝了 Http 連接池，可以有效地復(fù)用 Http 連接，從而減少了每次 TCP 連接的耗時(shí)。其次，CRTHttpClient 還維護(hù)了 S3 Endpoint Pool，這允許它在多個(gè) S3 Endpoint 中實(shí)現(xiàn)負(fù)載均衡，這極大地改善了單個(gè) S3 Endpoint 能提供的吞吐量。最后，CRTHttpClient 還提供了 HostCache，以避免重復(fù)的 DNS 解析。

我們?cè)?ByteHouse 上配置 S3 作為遠(yuǎn)程存儲(chǔ)，同時(shí)分別使用普通的 HttpClient 和 CRTHttpClient 對(duì) SSB 100G 數(shù)據(jù)集進(jìn)行查詢測(cè)試。我們發(fā)現(xiàn)采用 CRT HttpClient 的情況下，網(wǎng)絡(luò)吞吐明顯增加，CPU 同步等待網(wǎng)絡(luò) I/O 的時(shí)間大幅減少，有效提高了 CPU 利用率。從查詢結(jié)果上看，查詢 QPS 提升 30% 以上。

P.S. 更多關(guān)于 CRT 的介紹，讀者可以參考這篇博客《老司機(jī)們坐穩(wěn)了 – 將 Amazon EC2 到 Amazon S3 的數(shù)據(jù)傳輸推向 100Gbps 線速》。

• 老司機(jī)們坐穩(wěn)了 – 將 Amazon EC2 到 Amazon S3 的數(shù)據(jù)傳輸推向 100Gbps 線速

  https://aws.amazon.com/cn/blogs/china/pushing-the-data-transfer-from-amazon-ec2-to-amazon-s3-to-100gbps-line-speed/

此外，在 ByteHouse 的架構(gòu)中，我們實(shí)施了緩存感知調(diào)度策略，專注于最大化緩存利用率并盡量減少冷讀現(xiàn)象。這種策略通過(guò)將計(jì)算任務(wù)調(diào)度到擁有必要數(shù)據(jù)緩存的節(jié)點(diǎn)上，以便利用緩存來(lái)提升讀寫性能。此外，考慮到系統(tǒng)的動(dòng)態(tài)伸縮性，當(dāng)計(jì)算節(jié)點(diǎn)的拓?fù)浣Y(jié)構(gòu)變化時(shí)，這種策略也盡量減少由緩存失效導(dǎo)致的對(duì)查詢性能的影響。ByteHouse 還引入了數(shù)據(jù)預(yù)熱（Prewarm）和預(yù)取（Prefetch）機(jī)制，這些機(jī)制根據(jù)數(shù)據(jù)訪問(wèn)模式和查詢分布情況，提前將數(shù)據(jù)加載到緩存中，以避免因緩存未命中而導(dǎo)致的冷讀，從而進(jìn)一步提升性能。

ByteHouse 還具備 Preload 功能，這包括預(yù)加載索引。默認(rèn)情況下，引擎在啟動(dòng)時(shí)，即在首次查詢運(yùn)行之前，就會(huì)自動(dòng)加載索引到緩存。這使得首次查詢比最小預(yù)熱時(shí)更快，但引擎的啟動(dòng)時(shí)間會(huì)更長(zhǎng)。還有一種是自動(dòng)預(yù)加載（auto-preload），這意味著當(dāng)表發(fā)生插入或合并操作后，系統(tǒng)會(huì)自動(dòng)將更新后的數(shù)據(jù)拉取到本地。這一功能可以通過(guò)配置項(xiàng)開(kāi)啟，使得數(shù)據(jù)處理更加高效。

3.2 存儲(chǔ)

存儲(chǔ)層方面，S3 在小文件對(duì)象訪問(wèn)時(shí)存在大量的元數(shù)據(jù)開(kāi)銷，這會(huì)嚴(yán)重影響 ByteHouse 性能。為此，我們優(yōu)化了 S3 上的文件結(jié)構(gòu)設(shè)計(jì)，避免過(guò)多小文件對(duì)象的產(chǎn)生，也不會(huì)把單個(gè)文件做的更大。經(jīng)過(guò)多輪測(cè)試，ByteHouse 發(fā)現(xiàn) 128MB 到 512MB 的文件大小是適合自身業(yè)務(wù)的區(qū)間，這樣不僅可以大幅提高讀取效率，同時(shí)也減少了元數(shù)據(jù)管理的負(fù)載。

ByteHouse 采用多線程大規(guī)模并行訪問(wèn) S3，針對(duì)不同文件大小和訪問(wèn)模式進(jìn)行動(dòng)態(tài)參數(shù)調(diào)優(yōu)，以達(dá)到更高的并發(fā)度。另外，還通過(guò) Range 請(qǐng)求方式進(jìn)行分片讀取，充分利用 S3 的高帶寬，大幅提升了讀取吞吐量。根據(jù) Amazon S3 性能文檔，典型的 Range 請(qǐng)求大小是 8 MB 或 16 MB，這也符合《Exploiting Cloud Object Storage for High-Performance Analytics》論文中提到的 “8 -16 Mib?大小是成本–吞吐量最優(yōu)的”推論，如下圖所示：

除了文件大小優(yōu)化外，團(tuán)隊(duì)研究并計(jì)劃測(cè)試 Amazon S3 Express One Zone，以便顯著降低存儲(chǔ)訪問(wèn)延遲。re:Invent 2023 新發(fā)布的 S3 Express One Zone 是一種高性能的單可用區(qū)存儲(chǔ)服務(wù)，專為提供穩(wěn)定的單位毫秒級(jí)數(shù)據(jù)訪問(wèn)而設(shè)計(jì)，適用于訪問(wèn)頻率較高的數(shù)據(jù)和延遲敏感型應(yīng)用。S3 Express One Zone 可將數(shù)據(jù)訪問(wèn)速度提升 10 倍，與 S3 Standard 相比請(qǐng)求成本降低 50%，并可擴(kuò)展到每分鐘處理數(shù)百萬(wàn)請(qǐng)求，ByteHouse 團(tuán)隊(duì)計(jì)劃近期對(duì)其進(jìn)行性價(jià)比評(píng)測(cè)。

3.3 網(wǎng)絡(luò)

網(wǎng)絡(luò)層方面，我們首先配置了 VPC PrivateLink 以安全訪問(wèn) S3 并降低延時(shí)，提高數(shù)據(jù)訪問(wèn)的穩(wěn)定性。在 DNS 方面，S3 在今年 8 月新推出了 DNS 多值應(yīng)答（MultiValue Answer，MVA），來(lái)響應(yīng) DNS 查詢。有了 MVA 之后，DNS 查詢每次最多可以獲得 8個(gè) IP 地址。ByteHouse 使用這些 IP 地址自動(dòng)與 S3 建立多個(gè)并發(fā)連接，從而提高了服務(wù)整體的吞吐。不僅如此，這個(gè)功能會(huì)自動(dòng)嘗試備用 IP 地址，而不必等待另一次 DNS 查詢，為 ByteHouse 提高了重試的效率。

同時(shí)，我們根據(jù)監(jiān)控?cái)?shù)據(jù)來(lái)評(píng)估不同 S3 負(fù)載均衡 IP 的延時(shí)，并在系統(tǒng)內(nèi)優(yōu)化 TCP 參數(shù)等。這些優(yōu)化手段共同縮短了網(wǎng)絡(luò)延遲，提升了 S3 訪問(wèn)速度。

04

效果

通過(guò)存算分離架構(gòu)的改造升級(jí)以及一系列計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)層面的系統(tǒng)性優(yōu)化，ByteHouse 團(tuán)隊(duì)在亞馬遜云科技平臺(tái)上做了大量的基礎(chǔ)工作和探索實(shí)驗(yàn)。最終，ByteHouse 在亞馬遜云平臺(tái)上實(shí)現(xiàn)了大幅的性能提升。根據(jù)內(nèi)部計(jì)算存儲(chǔ)分離前后對(duì)比的測(cè)試報(bào)告，相比原先的存儲(chǔ)吞吐提高了 3-5 倍，延遲降低了 2 倍以上。

和開(kāi)源 ClickHouse 相比，ByteHouse 在性能上也具有優(yōu)秀的表現(xiàn)。這里以一個(gè)海外電商客戶為例，他們的業(yè)務(wù)場(chǎng)景為數(shù)據(jù)運(yùn)營(yíng)系統(tǒng)，對(duì)比測(cè)試的條件如下：

• 客戶真實(shí)線上業(yè)務(wù) SQL 語(yǔ)句 20 條（覆蓋客戶 80% 場(chǎng)景），并非 TPC-DS 等 Benchmark

• 查詢內(nèi)容包括計(jì)算用戶訪問(wèn)量、點(diǎn)擊量、產(chǎn)品訪問(wèn)量及其轉(zhuǎn)化率等

• 高復(fù)雜度查詢牽涉 Subquery、復(fù)雜 JOIN、條件邏輯、排序和限制等

• 查詢并發(fā)數(shù)為 24，計(jì)算 12 輪運(yùn)行結(jié)果的平均值

• ByteHouse 采用的 VW 大小為 96 核/384G 內(nèi)存，ClickHouse 使用的規(guī)格為104 核/384G，引擎為 MergeTree

• ClickHouse 開(kāi)源版本采用的是 22.8

SQL 查詢結(jié)果如上所示，ByteHouse 平均執(zhí)行時(shí)長(zhǎng)比 ClickHouse 要快約 48%，最快的查詢要快上 80%，效果顯著。

05

小結(jié)

本文分享了 ByteHouse 在亞馬遜云科技平臺(tái)上云原生過(guò)程中架構(gòu)升級(jí)和性能優(yōu)化的一些思路。通過(guò)多個(gè)層次的優(yōu)化措施，完成了整體性能上的巨大提升。隨著 ByteHouse 云原生之路的不斷深入，我們?nèi)詴?huì)和亞馬遜云科技一起繼續(xù)進(jìn)行迭代升級(jí)，以適應(yīng)未來(lái)的需求變化。本系列后續(xù)還會(huì)提供更多優(yōu)化的分享，敬請(qǐng)關(guān)注。

06

打開(kāi)

目前，ByteHouse 已在亞馬遜云科技海外區(qū)域 Marketplace 完成上架，只需要在 Marketplace 搜索 ByteHouse 或者通過(guò)這個(gè)鏈接（https://aws.amazon.com/marketplace/pp/prodview-rccuf7u2vpxve）就可以進(jìn)入 ByteHouse 控制臺(tái)頁(yè)面。有關(guān) ByteHouse 與亞馬遜云科技的數(shù)據(jù)服務(wù)對(duì)接，可以參考之前的數(shù)據(jù)集成博客系列?？靵?lái)使用吧～

參考資料

• https://byconity.github.io/blog/2023-05-24-byconity-announcement-opensources-its-cloudnative-data-warehouse

• https://docs.aws.amazon.com/AmazonS3/latest/userguide/optimizing-performance.html

• https://github.com/ByConity/ByConity/commit/ca97fa91016b472bfae6692b1b0ae9c944fb96d0

本篇作者

Aelfric Lin

字節(jié)跳動(dòng) ByteHouse 高級(jí)產(chǎn)品經(jīng)理。在數(shù)據(jù)產(chǎn)品和 AI 產(chǎn)品領(lǐng)域擁有深厚的經(jīng)驗(yàn)，目前專注于拓展國(guó)際市場(chǎng)，并在湖倉(cāng)一體化、數(shù)據(jù)生態(tài)系統(tǒng)、大型模型等專業(yè)領(lǐng)域進(jìn)行深入研究和實(shí)際操作。

魏祥威

字節(jié)跳動(dòng) ByteHouse 高級(jí)研發(fā)工程師，專注于數(shù)據(jù)庫(kù)查詢引擎的功能開(kāi)發(fā)和性能優(yōu)化。擁有多年豐富實(shí)戰(zhàn)經(jīng)驗(yàn)，目前主要負(fù)責(zé) ByteHouse 存儲(chǔ)側(cè)查詢性能的優(yōu)化。

史天

亞馬遜云科技資深解決方案架構(gòu)師。擁有豐富的云計(jì)算、數(shù)據(jù)分析和機(jī)器學(xué)習(xí)經(jīng)驗(yàn)，目前致力于數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)、無(wú)服務(wù)器等領(lǐng)域的研究和實(shí)踐。譯有《機(jī)器學(xué)習(xí)即服務(wù)》《基于 Kubernetes 的 DevOps 實(shí)踐》《Kubernetes 微服務(wù)實(shí)戰(zhàn)》《Prometheus 監(jiān)控實(shí)戰(zhàn)》《云原生時(shí)代的 CoreDNS 學(xué)習(xí)指南》等。

星標(biāo)不迷路，開(kāi)發(fā)更極速！

關(guān)注后記得星標(biāo)「亞馬遜云開(kāi)發(fā)者」

聽(tīng)說(shuō)，點(diǎn)完下面4個(gè)按鈕

就不會(huì)碰到bug了！

文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-810832.html