StarRocks 在 3.0 版本正式引入了存算分離架構(gòu)，從 shared-nothing 走向 shared-data，實(shí)現(xiàn)了架構(gòu)上的重大升級(jí)。這一升級(jí)受到許多用戶的高度期待，因?yàn)樗粌H是企業(yè)降本增效的關(guān)鍵，也是 StarRocks 邁向云原生的必經(jīng)之路。因此，在 StarRocks 3.0 版本發(fā)布初期，StarRocks 號(hào)召了社區(qū)用戶響應(yīng)存算分離的測(cè)試活動(dòng)，以便用戶通過(guò)實(shí)際測(cè)試來(lái)反映最真實(shí)的使用體驗(yàn)和性能。

在用戶測(cè)試報(bào)告中，StarRocks 存算分離在數(shù)據(jù)導(dǎo)入性能、查詢性能都與存算一體達(dá)到了一致；在冷數(shù)據(jù)查詢的場(chǎng)景的性能也只有 50% 左右的性能下降。此外，在查詢性能擴(kuò)展能力上，我們通過(guò)測(cè)試報(bào)告可以看到隨著計(jì)算節(jié)點(diǎn)的增加，查詢性能會(huì)接近線性增長(zhǎng)。

以下是此次征文活動(dòng)的摘錄內(nèi)容，完整的用戶測(cè)試報(bào)告請(qǐng)查看：https://forum.mirrorship.cn/t/topic/7110

數(shù)據(jù)導(dǎo)入

??通過(guò)多種方式模擬真實(shí)的寫(xiě)入場(chǎng)景，包括歷史數(shù)據(jù)的批量寫(xiě)入以及實(shí)時(shí)數(shù)據(jù)的持續(xù)寫(xiě)入。經(jīng)測(cè)試 StarRocks 存算分離的寫(xiě)入吞吐與存算一體基本相當(dāng)。

數(shù)據(jù)小黑@浪潮：總的來(lái)說(shuō)，在我們的實(shí)際測(cè)試中，由于我們使用了自建的 MinIO，存算一體和存算分離在導(dǎo)入性能上基本保持一致。

導(dǎo)入方式：stream load （total bytes 7711779006）；

張了了@聚水潭：資源穩(wěn)定的情況下，存算分離開(kāi)啟本地緩存和存算一體寫(xiě)入基本持平。異步寫(xiě)入?yún)?shù)對(duì)于寫(xiě)入性能有較大影響，關(guān)閉后對(duì)于寫(xiě)入性能有大約 7 倍左右的提升。

導(dǎo)入方式：stream load

?

楊榮：單表同步任務(wù)使用 Flink 實(shí)時(shí)持續(xù)寫(xiě)入，單 BE 最高吞吐 120MB/s 左右。部分列更新場(chǎng)景寫(xiě)入峰值可達(dá) 11.8 w records/s，平時(shí)可以到 5w records/s 以上，滿足業(yè)務(wù)對(duì)導(dǎo)數(shù)性能的需求。在近 50 個(gè)寫(xiě)入并發(fā)下，存算分離集群運(yùn)行整體平穩(wěn)。

導(dǎo)入方式：Flink 實(shí)時(shí)寫(xiě)入

rink@天道金科：使用 StarRocks 存算分離表相較于原有的 txt 數(shù)據(jù)存儲(chǔ)到 OSS 的數(shù)據(jù)同步方式，寫(xiě)入吞吐有一倍左右的性能提升。

導(dǎo)入方式：DataX

?

Richard@芒果TV：導(dǎo)入性能符合預(yù)期

導(dǎo)入方式：stream load /routine load /SQL insertRoutine load 導(dǎo)入峰值12萬(wàn) QPS，數(shù)據(jù) json 格式，單條大小 300B 左右。Stream load 導(dǎo)入峰值15萬(wàn) QPS，數(shù)據(jù) json 格式，單條大小 100B 左右。

SQL insert 使用 Hive catalog，將 Hive ORC 表數(shù)據(jù) insert 到 OLAP 表，按照 Hive 天分區(qū)導(dǎo)入，4000 萬(wàn)數(shù)據(jù)導(dǎo)入耗時(shí) 90S 左右。

查詢性能

??StarRocks 存算分離的版本通過(guò) cache 機(jī)制達(dá)到了與存算一體版本相同的查詢性能。

張了了@聚水潭：對(duì)于單 SQL 查詢來(lái)看，開(kāi)啟本地緩存后有明顯優(yōu)化，查詢性能基本和存算一體表持平，根據(jù)回放測(cè)試表現(xiàn)來(lái)看，基本都可以符合在 100 左右的 QPS。

測(cè)試方法：50s 發(fā)送 5000 個(gè)查詢

?

rink@天道金科：對(duì)比 Spark，Trino 的查詢框架，StarRocks 存算分離在 cache 命中的情況下有數(shù)十倍的性能優(yōu)勢(shì)。未命中 cache 的情況下也有數(shù)倍的性能提升。

?楊榮： local 表與 cloud native 表的查詢性能基本持平，q1 在 10 并發(fā)以上的場(chǎng)景下 cloud native 表都比 local 表查詢性能要好。

?

任偉：簡(jiǎn)單查詢場(chǎng)景下，存算分離的查詢并發(fā)響應(yīng)時(shí)間優(yōu)于存算一體。復(fù)雜查詢的場(chǎng)景下兩者基本持平。

?

?Richard@芒果TV：存算分離內(nèi)表查詢性能相比于 Presto 有 5 倍以上的性能提升，部分查詢性能可以提升數(shù)十倍。

?

冷數(shù)據(jù)查詢性能

??存算分離的優(yōu)勢(shì)之一是，存儲(chǔ)可以獨(dú)立于計(jì)算資源單獨(dú)擴(kuò)容。但是首次查詢或者是大批量的歷史數(shù)據(jù)查詢時(shí) cache 容量有限，需要對(duì)遠(yuǎn)端存儲(chǔ)的冷數(shù)據(jù)進(jìn)行分析。通過(guò)測(cè)試驗(yàn)證表明，存算分離的冷數(shù)據(jù)查詢性能對(duì)比熱數(shù)據(jù)（cache 命中）只有 50% 左右的性能下降。

任偉：冷熱數(shù)據(jù)（本地是否有磁盤(pán) cache）SSB 全部 SQL 有2.5倍左右的性能差距，TPC-H 全部 SQL 有1.5倍左右的性能差距。

?

查詢性能擴(kuò)展能力

??通過(guò)水平擴(kuò)容的方式驗(yàn)證存算分離版本的查詢性能提升。通過(guò)測(cè)試可以看到隨著計(jì)算節(jié)點(diǎn)的增加，查詢的響應(yīng)時(shí)間會(huì)接近線性下降。

任偉：可以看到不論是單表的簡(jiǎn)單查詢還是多表的復(fù)雜查詢，隨著 BE 節(jié)點(diǎn)的增加查詢性能均有明顯的提升。

?

未來(lái)規(guī)劃

未來(lái)，StarRocks 將繼續(xù)堅(jiān)定不移地優(yōu)化存算分離架構(gòu)，并會(huì)在以下方面持續(xù)發(fā)力：

1. Cache 能力的持續(xù)優(yōu)化：StarRocks 將使用自研的 Cache 來(lái)優(yōu)化性能和效率

2. Multi-warehouse：一份數(shù)據(jù)，多處計(jì)算。通過(guò) multi-warehouse 技術(shù)實(shí)現(xiàn)真資源隔離，進(jìn)一步提升業(yè)務(wù)系統(tǒng)穩(wěn)定性

3. 實(shí)時(shí)場(chǎng)景優(yōu)化：我們?cè)?.1版本將開(kāi)啟對(duì)主鍵模型表的存算分離能力支持，并且將繼續(xù)優(yōu)化存算分離場(chǎng)景下的實(shí)時(shí)能力

4. 繼續(xù)優(yōu)化存算分離架構(gòu)下的彈性能力：配合 multi-warehouse，在 multi-warehouse 內(nèi)引入智能化的自動(dòng)彈性能力，在業(yè)務(wù)峰谷期實(shí)現(xiàn)資源的自動(dòng)伸縮，降本增效，省人也省事

5. 繼續(xù)深化推進(jìn)存算分離：在 BE 存算分離基礎(chǔ)上進(jìn)一步實(shí)現(xiàn) FE 的存算分離

想要再深入了解更多關(guān)于 StarRocks 存算分離架構(gòu)嗎？歡迎利用以下資源：

兼顧降本與增效，我們對(duì)存算分離的設(shè)計(jì)與思考

深入探索 StarRocks 存算分離架構(gòu)

存算分離用戶小組：

?? StarRocks Feature Group 正式成立，歡迎入群對(duì)特定 feature 進(jìn)行深入交流！

下方添加小助手，回復(fù)關(guān)鍵字“存算分離”即可加入 StarRocks 存算分離用戶小組，開(kāi)啟你的降本增效之旅！

https://842372.ma3you.cn/articles/Oz4kpdl/文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-595221.html

到了這里，關(guān)于實(shí)測(cè)結(jié)果公開(kāi)：用戶見(jiàn)證 StarRocks 存算分離優(yōu)異性能！的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！