目錄

零：前言

一、Elasticsearch

1.1、Elasticsearch的現(xiàn)狀

1.2、騰訊云Elasticsearch是什么？

2.1、行業(yè)問題

2.2、存算分離核心優(yōu)勢

2.3、存算分離關鍵技術-物理復制

2.4、存算分離關鍵技術-混合存儲

三、Elasticsearch?Serverless?

3.1、行業(yè)問題

3.2、什么是Elasticsearch?Serverless?

3.3、Elasticsearch?Serverless?優(yōu)勢特性

四、Elasticsearch新版本特性：強大的云端AI增強與向量檢索能力

4.1、行業(yè)問題

4.2、結(jié)合AI大模型與向量檢索優(yōu)勢

五、數(shù)據(jù)湖計算產(chǎn)品DLC

5.1、什么是數(shù)據(jù)湖計算產(chǎn)品DLC

5.2、產(chǎn)品特點

5.3、價值

5.4、適合使用場景

敏捷實時數(shù)據(jù)湖分析

企業(yè)日志批量查詢

敏捷搭建數(shù)據(jù)中臺

統(tǒng)一元數(shù)據(jù)視圖

一份數(shù)據(jù)敏捷泛場景分析

敏捷數(shù)據(jù)湖聯(lián)邦分析

跨業(yè)務數(shù)據(jù)聯(lián)合查詢

豐富多元數(shù)據(jù)湖科學

數(shù)據(jù)科學賦能業(yè)務增長

六、騰訊云數(shù)據(jù)倉庫TCHouse-C云原生彈性版

6.1、什么是云數(shù)據(jù)倉庫TCHouse-C云原生彈性版

6.2、產(chǎn)品特點

6.3、價值

6.4、場景

構(gòu)建通用日志分析系統(tǒng)

游戲買量分析

用戶畫像及人群圈選

BI分析/數(shù)據(jù)看板

6.5、行業(yè)對比優(yōu)勢

七、小結(jié)

---

零：前言

9月7-8日，騰訊召開了騰訊全球數(shù)字生態(tài)大會。

2023騰訊全球數(shù)字生態(tài)大會-大數(shù)據(jù)專場，關注了云原生和AI增強搜索能力的解讀和實踐。會議分享了大數(shù)據(jù)和AI能力融合的發(fā)展趨勢，以及云原生大數(shù)據(jù)產(chǎn)品的突破和最佳實踐。這些內(nèi)容為企業(yè)注入了新的動力，幫助他們提升數(shù)據(jù)優(yōu)勢。

虛竹哥把參會的心得整理成文章，跟大家分享分享。

一、Elasticsearch

1.1、Elasticsearch的現(xiàn)狀

Elasticsearch是一個開源的分布式搜索和分析引擎，構(gòu)建在Apache?Lucene之上。它被廣泛用于處理大規(guī)模數(shù)據(jù)集，提供快速、實時的搜索和分析功能。

Elasticsearch通過將數(shù)據(jù)分布在多個節(jié)點上來實現(xiàn)水平擴展，從而使其具有高可靠性和高可擴展性。它使用倒排索引來加速搜索操作，并支持復雜的查詢語言和過濾器。同時，Elasticsearch還集成了分布式文檔存儲、數(shù)據(jù)聚合、實時分析等功能，使其成為一個強大的全文搜索和分析引擎。

Elasticsearch在企業(yè)中得到了廣泛應用。許多組織使用Elasticsearch來構(gòu)建實時搜索引擎、日志分析系統(tǒng)、基于內(nèi)容的推薦系統(tǒng)等。它已經(jīng)成為一種常見的技術選擇，在快速增長的數(shù)據(jù)領域中扮演著重要角色。

1.2、騰訊云Elasticsearch是什么？

騰訊云?Elasticsearch?是云端全托管的海量數(shù)據(jù)檢索分析服務，擁有高性能自研內(nèi)核，集成X-Pack商業(yè)特性。ES?支持通過自治索引、存算分離、集群巡檢等特性輕松管理集群，也支持免運維、自動彈性、按需使用的?Serverless?模式。通過使用騰訊云?ES，我們可以高效構(gòu)建信息檢索、日志分析、運維監(jiān)控等服務，近期推出的ES?8.8.1版本，更是提供了獨特的向量檢索能力，可幫助我們構(gòu)建基于語義、圖像的AI深度應用。在本次大會上，騰訊云ES重點介紹了其自研的存算分離、Serverlss以及AI增強與向量檢索能力，下面我們逐一進行回顧介紹。

二、Elasticsearch?存算分離

2.1、行業(yè)問題

存算一體架構(gòu)的ES引擎存在一些問題，其中包括多副本機制作為分布式架構(gòu)的依賴、主從副本同時寫入導致的計算冗余，以及彈性伸縮時數(shù)據(jù)搬遷和資源浪費等。這些問題都是ES引擎在存算一體架構(gòu)下所面臨的弊端。

2.2、存算分離核心優(yōu)勢

騰訊云大數(shù)據(jù)團隊針對ES引擎存在的問題，研發(fā)了存算分離技術。該技術的基本思想是將原本存在本地磁盤上的數(shù)據(jù)存儲到遠程的分布式存儲——對象存儲中，實現(xiàn)存算分離，這樣做帶來了以下幾個好處。首先，從存儲層面來看，對象存儲的成本遠低于磁盤。其次，在技術層面上，無論多少個副本都可以共享一份存儲，進一步降低了成本，同時也實現(xiàn)了秒級彈性。針對計算冗余，研發(fā)了segment物理復制功能，只在主分片上完成索引構(gòu)建，然后同步到副本分片，這樣消耗的計算資源只有一次。為了保證對象存儲的性能，還研發(fā)了本地的智能緩存和IO并行，確保查詢性能不弱于本地磁盤。由于存算分離，去除了存儲和計算冗余，整個集群的擁有成本下降了50-80%，同時支持秒級彈性伸縮，在讀寫高峰時，可以按需擴縮容和按需付費，從而獲得更好的收益。

2.3、存算分離關鍵技術-物理復制

在物理復制技術中，采用了一種基本思想：寫入數(shù)據(jù)時只寫主分片，副本分片只通過translog來維持數(shù)據(jù)的一致性。隨著主分片的segment生成，數(shù)據(jù)會實時同步到副本分片，從而消除了副本寫入時的計算資源開銷。

2.4、存算分離關鍵技術-混合存儲

通過結(jié)合SSD和對象存儲兩種介質(zhì)，實現(xiàn)了數(shù)據(jù)逐步降溫的存儲方式，以降低成本。下面是索引的逐步降溫過程。

1. 第一階段：Read-Write索引（當天索引）保存在本地的主從分片。
2. 第二階段：Read-Only索引（溫數(shù)據(jù)），通常在兩三天后，主分片仍保存在本地，副本分片存儲在對象存儲中。
3. 第三階段：冷數(shù)據(jù)，一般在一到兩周后，查詢量更少，用戶對查詢延時的容忍度更高。逐步將主分片上的一些數(shù)據(jù)下沉到對象存儲中，僅保留少量索引文件和元數(shù)據(jù)文件。
4. 第四階段：凍結(jié)數(shù)據(jù)，一般在一個月甚至一年后，幾乎不會被查詢。此時，將主副本分片的所有存儲數(shù)據(jù)全部下沉到對象存儲中，只保留少量元數(shù)據(jù)。這樣，90%的數(shù)據(jù)都存儲在對象存儲中，大大降低了成本。

三、Elasticsearch?Serverless?

3.1、行業(yè)問題

在進行日志分析時，使用開源?Elasticsearch?的用戶需要預估集群配置，包括計算資源和存儲資源等，以確保業(yè)務平穩(wěn)運行。然而，這種方式存在一些問題：首先，彈性能力不足，無法應對業(yè)務發(fā)展中的突發(fā)流量，在大型促銷、節(jié)假日等特定場景下尤為明顯。其次，基于業(yè)務高峰期進行集群容量規(guī)劃會導致資源浪費和成本增加，因為在低峰期時可能存在很多冗余資源。最后，Elasticsearch?集群的運維與管理成本也很高，用戶需自行規(guī)劃配置和索引配置，并搭建監(jiān)控告警平臺等，對于企業(yè)而言，這是一個重要的開支點，希望能夠進一步降低相關的成本。

為了解決Elasticsearch的行業(yè)問題，騰訊云基于自研云原生?Serverless?技術架構(gòu)打造了Elasticsearch?Serverless?服務。

3.2、什么是Elasticsearch?Serverless?

騰訊云推出的Elasticsearch?Serverless服務是基于自行研發(fā)的云原生Serverless技術架構(gòu)構(gòu)建的一項全面托管的云端Elasticsearch解決方案。該服務具有自動彈性和免運維能力，能夠有效地應對日志分析、指標監(jiān)控等業(yè)務場景中波峰波谷所帶來的資源成本問題。同時，它與ELK生態(tài)完全兼容，提供端到端的數(shù)據(jù)接入、數(shù)據(jù)管理和數(shù)據(jù)可視化等功能，用戶可以立即開始使用并獲得出色的產(chǎn)品體驗。

3.3、Elasticsearch?Serverless?優(yōu)勢特性

• 索引自動彈性：根據(jù)流量增長自動伸縮索引粒度，降低運維成本。
• 完全免運維：內(nèi)置自動調(diào)優(yōu)、智能管理和故障自愈，讓用戶無需關心底層配置和擴縮容。
• 極致成本效益：采用低成本、高性能、高可用的存算分離架構(gòu)，實現(xiàn)按需付費和資源動態(tài)匹配，降低成本支出。
• 靈活易用：提供端到端的一站式產(chǎn)品能力，簡化云上業(yè)務部署，分鐘級實現(xiàn)業(yè)務落地。
• 開放集成：與ELK生態(tài)兼容，無縫遷移，快速上云，同時簡化數(shù)據(jù)接入。
• 穩(wěn)定可靠：后臺優(yōu)化集群配置和讀寫性能，提升穩(wěn)定性，為業(yè)務保駕護航。

四、Elasticsearch新版本特性：強大的云端AI增強與向量檢索能力

國內(nèi)首發(fā)?8.8.1版本，為AI革命提供高級搜索能力！

4.1、行業(yè)問題

• 傳統(tǒng)搜索?vs.?新技術：傳統(tǒng)搜索采用結(jié)構(gòu)化文本、分詞、倒排索引和排序。在AI和大模型時代，能否利用向量檢索和AI大模型為搜索帶來更好的能力和徹底改變用戶體驗。
• 向量化的優(yōu)勢：向量化通過embedding將各種結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)映射成高維空間中的點，并通過點之間的距離推導相關性。維度越高，判斷相關性的準確性越高。這為語義搜索、圖像搜索和推薦等提供了更有效的方法。
• 企業(yè)應用和商業(yè)增長：向量化能力可助力企業(yè)在多個場景應用中發(fā)揮作用，提升經(jīng)營效能和商業(yè)增長。
• 結(jié)合向量檢索和生成式AI：向量檢索和生成式AI（大模型）可以相互聯(lián)動，支持垂直行業(yè)知識整合和智能化輸出。

4.2、結(jié)合AI大模型與向量檢索優(yōu)勢

• ES的獨特性：ES具備原生文本搜索?向量檢索的混合搜索能力，與其他NoSQL數(shù)據(jù)庫插件不同，它在內(nèi)核層面支持自己的向量搜索引擎。ES還是一款優(yōu)秀的全文檢索引擎，可輕松實現(xiàn)多路召回、混合打分和聚合分析，提升搜索結(jié)果準確性。
• ES的全方位解決方案：ES提供端到端一站式向量檢索方案，包括模型部署、向量化embedding生成和向量檢索等環(huán)節(jié)，大幅降低企業(yè)算法工程接入成本。
• ES的豐富集成能力：ES可與第三方工具集成，如LangChain，幫助構(gòu)建復雜數(shù)據(jù)管道和生成式AI應用程序，并可以與第三方Transformer模型集成。
• ES的穩(wěn)定性與可靠性：ES作為成熟的分布式搜索引擎，已被廣泛應用于核心在線業(yè)務和大規(guī)模日志場景，并得到充分驗證和認可。

如果想體驗騰訊云大數(shù)據(jù)?ES?服務的同學，可以掃描下方二維碼，領取無門檻免費體驗券哦！還有千元以上精美大獎等你來拿！

五、數(shù)據(jù)湖計算產(chǎn)品DLC

5.1、什么是數(shù)據(jù)湖計算產(chǎn)品DLC

騰訊云的數(shù)據(jù)湖計算DLC是一種基于云原生和Serverless架構(gòu)的大數(shù)據(jù)分析服務。

騰訊云大數(shù)據(jù)近期推出了DLC?-?AIGC大數(shù)據(jù)基座和下一代Lakehouse湖倉架構(gòu)。DLC在新興的AIGC場景中得以廣泛應用，其中包括Serverless形態(tài)下的無運維、輕量化和低門檻的特點。此外，它還具備內(nèi)置的Pyspark支持與優(yōu)化功能以及與Jupyter的良好集成性，使其成為AIGC領域的理想大數(shù)據(jù)基礎設施。

另一方面，下一代Lakehouse湖倉架構(gòu)則致力于實現(xiàn)數(shù)據(jù)資產(chǎn)的統(tǒng)一建設。它能夠幫助用戶以敏捷和低成本的方式管理和分析海量數(shù)據(jù)。與傳統(tǒng)單一的數(shù)據(jù)架構(gòu)相比，這種創(chuàng)新架構(gòu)能夠有效解決多變的數(shù)據(jù)分析需求所帶來的挑戰(zhàn)。通過Lakehouse湖倉架構(gòu)，用戶能夠更好地滿足各類數(shù)據(jù)分析任務的要求。

5.2、產(chǎn)品特點

• 集成了數(shù)據(jù)湖和數(shù)據(jù)倉庫的優(yōu)勢：能夠滿足各種場景下的大數(shù)據(jù)存儲和分析需求。
• DLC具備云原生特性：能夠提供實時性強、簡單易用和可擴展性強等特點。
• 多源聯(lián)合查詢：用戶可在云上使用多種數(shù)據(jù)設施，如對象存儲、云數(shù)據(jù)庫和云數(shù)據(jù)倉庫等。不需要額外加載數(shù)據(jù)，通過一個統(tǒng)一的數(shù)據(jù)視圖即可實現(xiàn)多源數(shù)據(jù)聯(lián)合分析。
• 支持標準?SQL：
• 用戶可以直接使用標準的SQL語言進行數(shù)據(jù)分析，而不需要去理解不同數(shù)據(jù)設施的數(shù)據(jù)結(jié)構(gòu)或者學習新的編程語言。該服務即插即用，操作非常簡單。
• 資源極致彈性：采用無服務器（Serverless）架構(gòu)，使用戶不必關注底層的運維工作。此外，計算資源在使用完畢后即可被銷毀，系統(tǒng)能夠快速響應計算負載的需求并提供秒級伸縮和動態(tài)擴容能力。
• 云端無縫融合：該服務能夠與騰訊云數(shù)據(jù)生態(tài)系統(tǒng)無縫融合，直接讀取云存儲服務中的數(shù)據(jù)。同時，它還具備很好的跨平臺兼容性，可以支持各種上層數(shù)據(jù)應用。

5.3、價值

陳萬東是騰訊云大數(shù)據(jù)DLC專家工程師，他在會議上向與會嘉賓介紹了數(shù)據(jù)湖計算DLC在百萬級實時Upsert場景中的成功應用。騰訊云基于DLC、Flink和Wedata等技術，為某頭部金融券商搭建了一個湖倉一體的近實時數(shù)據(jù)分析平臺。該平臺將業(yè)務數(shù)據(jù)庫的數(shù)據(jù)流入kafka，通過Flink實現(xiàn)實時數(shù)據(jù)寫入DLC，大幅簡化了架構(gòu)并節(jié)約了資源。通過實測，每秒鐘Upsert次數(shù)可達120萬次，并結(jié)合Smart?Optimizer服務，數(shù)據(jù)能夠分鐘級別可見。同時，作業(yè)時間從幾小時縮短到數(shù)分鐘，整體提升效率超過50%，并降低使用資源的成本約20%。

5.4、適合使用場景

敏捷實時數(shù)據(jù)湖分析

企業(yè)日志批量查詢

用戶通常以json、文本文件等格式存儲企業(yè)的日志數(shù)據(jù)。他們可以將這些日志數(shù)據(jù)存儲到COS中，并且可以直接使用標準SQL來對COS中的海量數(shù)據(jù)進行批量分析。通過這個方式，用戶可以快速生成數(shù)據(jù)報表，實現(xiàn)數(shù)據(jù)可視化，從而大幅提升工作效率。為了將云上日志服務的數(shù)據(jù)導入到DLC中進行加速分析，只需要進行幾個簡單的配置步驟即可。

敏捷搭建數(shù)據(jù)中臺

統(tǒng)一元數(shù)據(jù)視圖

在云上，用戶可能會有多個元數(shù)據(jù)視圖，比如EMR、DLC以及其他各種數(shù)據(jù)源產(chǎn)品。為了方便用戶管理和使用不同數(shù)據(jù)源的元數(shù)據(jù)，DLC內(nèi)置了一個企業(yè)級統(tǒng)一元數(shù)據(jù)視圖。借助這個功能，用戶可以敏捷快速地構(gòu)建企業(yè)級元數(shù)據(jù)中心，并且可以在不同產(chǎn)品和版本之間無縫切換。值得一提的是，通過DLC，用戶可以方便地在不同產(chǎn)品（比如DLC和EMR）之間切換使用同一份元數(shù)據(jù)。

一份數(shù)據(jù)敏捷泛場景分析

在大數(shù)據(jù)生態(tài)系統(tǒng)中，Presto和Spark都有各自擅長的領域。Presto擅長處理交互式分析，而Spark則擅長處理ETL任務。通過DLC提供的統(tǒng)一語法和輕量級集群功能，可以實現(xiàn)同一份數(shù)據(jù)在不同引擎之間無縫切換，以滿足各種不同的使用場景。此外，通過結(jié)合Wedata，還可以將數(shù)據(jù)導入或?qū)С龅狡渌麛?shù)十種數(shù)據(jù)產(chǎn)品和數(shù)據(jù)源，例如EMR、CDW、ES、數(shù)據(jù)庫、日志服務等。通過這種靈活的數(shù)據(jù)流動，可以充分發(fā)揮不同產(chǎn)品的優(yōu)勢。

敏捷數(shù)據(jù)湖聯(lián)邦分析

跨業(yè)務數(shù)據(jù)聯(lián)合查詢

不同的企業(yè)部門和業(yè)務線通常會采用不同的數(shù)據(jù)架構(gòu)來管理業(yè)務數(shù)據(jù)，導致業(yè)務數(shù)據(jù)存儲在不同的存儲系統(tǒng)中，例如交易型數(shù)據(jù)存儲在關系型數(shù)據(jù)庫、活躍數(shù)據(jù)存儲在Redis、歷史記錄存儲在對象存儲等，從而造成數(shù)據(jù)割裂的情況。DLC通過打通異構(gòu)數(shù)據(jù)，幫助用戶跨越多個數(shù)據(jù)源進行聯(lián)合分析，使得用戶能夠更加迅捷地進行跨業(yè)務數(shù)據(jù)分析。

豐富多元數(shù)據(jù)湖科學

數(shù)據(jù)科學賦能業(yè)務增長

DLC為用戶提供機器學習能力和智慧分析解決方案，助力業(yè)務增長。在機器學習場景中，用戶面臨大數(shù)據(jù)量、慢模型訓練和差算法效果的問題。DLC提供開箱即用的機器學習算法模型，輕松構(gòu)建預測模型。同時，還提供BI能力，提高企業(yè)運營效率。

六、騰訊云數(shù)據(jù)倉庫TCHouse-C云原生彈性版

6.1、什么是云數(shù)據(jù)倉庫TCHouse-C云原生彈性版

TCHouse-C是基于ClickHouse開源引擎的全托管數(shù)據(jù)倉庫產(chǎn)品，它提供了一種高性能的列式分布式數(shù)據(jù)庫管理系統(tǒng)。作為近年來最熱門的OLAP引擎之一，在許多頂級互聯(lián)網(wǎng)公司中已經(jīng)廣泛應用，尤其在處理PB級海量數(shù)據(jù)分析方面表現(xiàn)強勁。企業(yè)對于大量數(shù)據(jù)處理任務往往有很高的成本和實時要求，而ClickHouse正是滿足這些需求的理想解決方案之一。

目前，我們進一步將云托管架構(gòu)升級為云原生架構(gòu)，采用存算分離架構(gòu)實現(xiàn)了更細的資源管控粒度，資源擴縮容變得更加靈活，應對存儲和計算資源的非對稱需求。另外，TCHouse-C發(fā)布了SchemaLess能力，標準版與彈性版的TCHouse-C均支持SchemaLess進行半結(jié)構(gòu)化數(shù)據(jù)分析，帶來了日志分析場景下的新突破。

6.2、產(chǎn)品特點

優(yōu)勢：基于ClickHouse?內(nèi)核,升級為存算分離的全新架構(gòu),支持多個特性

1）彈性效率：實現(xiàn)計算/存儲獨立擴容，秒級彈性；

2）性能優(yōu)化：數(shù)據(jù)攝入、讀寫性能、BITMAP加速、SchemaLess查詢半結(jié)構(gòu)化數(shù)據(jù)

3）運維能力：配置管理、賬戶管理、監(jiān)控告警、數(shù)據(jù)重分布、集群遷移等

簡單易用：通過控制臺分鐘級構(gòu)建?ClickHouse?分析集群，提供完善的集群運維管理、監(jiān)控告警等功能使您無需關注底層基礎設施，利用完善的?SQL?語句支持便可專注于數(shù)據(jù)價值的分析。

極致性能：支持向量化引擎、充分發(fā)揮列存優(yōu)勢，并充分利用所有可用的硬件，以盡可能快地處理每個查詢。查詢效率數(shù)倍于傳統(tǒng)數(shù)據(jù)倉庫，單個查詢的峰值處理性能高達每秒數(shù)?TB。支持SchemaLess對半結(jié)構(gòu)化數(shù)據(jù)實時分析性能提升20倍。為公有云客戶節(jié)約了大量硬件成本，做到秒級返回查詢結(jié)果。

彈性伸縮：通過控制臺簡單操作就可以快速實現(xiàn)的集群的擴容，縮容，節(jié)點的變配等操作，通過完善的云端彈性伸縮能力，為業(yè)務高速發(fā)展提供匹配的動態(tài)支撐。

安全可靠：用戶集群獨立部署，支持?VPC?私有網(wǎng)絡隔離，數(shù)據(jù)訪問安全多重保障。完善支持集群高可用，實現(xiàn)用戶無感的服務容災轉(zhuǎn)移和故障恢復。

成本更低：利用云端高性價比設備，構(gòu)建極具成本優(yōu)勢的托管?ClickHouse?集群；配合?ClickHouse?高達10倍的高效數(shù)據(jù)壓縮算法，有效減少磁盤用量，相比傳統(tǒng)數(shù)倉大幅降低使用成本。

6.3、價值

• 存算分離架構(gòu)，資源成本更低；
• 業(yè)務擴容不停服，數(shù)據(jù)自動均衡；
• 日志場景下對半結(jié)構(gòu)化數(shù)據(jù)實時分析性能大幅提升。

6.4、場景

構(gòu)建通用日志分析系統(tǒng)

業(yè)務系統(tǒng)運行過程中，服務器、數(shù)據(jù)庫產(chǎn)生大量日志和監(jiān)控數(shù)據(jù)，且存儲分散、種類繁多、規(guī)模龐大因此對降本要求高，日志查詢的時候，一般按照某一維度統(tǒng)計數(shù)量、總量、均值等，符合TCHouse-C?面向列式存儲的使用場景。?TCHouse-C憑借極致的列存和向量化計算會有更加出色的并發(fā)表現(xiàn)。?TCHouse-C支持高吞吐實時寫入，支撐高峰期每小時百億日志數(shù)據(jù)的寫入同時，ClickHouse支持數(shù)據(jù)壓縮，適合低成本、大數(shù)據(jù)量的分析場景，?TCHouse-C更加具有絕對的優(yōu)勢。

游戲買量分析

采集游戲各類數(shù)據(jù)源數(shù)據(jù)，匯聚進入數(shù)據(jù)存儲與計算體系，完善指標和標簽體系建設（包括用戶自然屬性、行為屬性、消費屬性、設備屬性、游戲偏好等），?TCHouse-C擅長大寬表聚合查詢分析場景，對海量數(shù)據(jù)進行高性能分析。借助數(shù)據(jù)應用服務，提供人群圈選、實時推薦、自動化營銷、實時報表反饋，實現(xiàn)細化運營。

用戶畫像及人群圈選

在網(wǎng)站、APP?和游戲等場景中，通過CDW-C對用戶的點擊、操作、瀏覽、支付、評論等用戶行為數(shù)據(jù)進行收集、加工和處理，實現(xiàn)秒級的實時數(shù)據(jù)分析，大幅度提升大數(shù)據(jù)分析與處理的工作效率，為精準營銷和會員轉(zhuǎn)化等業(yè)務提供強力支持。

BI分析/數(shù)據(jù)看板

由于科學探索是隨機的，很難通過預建模的方式來解決，因此，可以將規(guī)模龐大的業(yè)務數(shù)據(jù)導入到TCHouse-C中，構(gòu)建實時數(shù)據(jù)分析平臺。?TCHouse-C的查詢效率數(shù)倍于傳統(tǒng)數(shù)據(jù)倉庫，而且擴展靈活，極大降低了探索數(shù)據(jù)的門檻，可實現(xiàn)實時?PV、UV、營收、用戶圈層等各類指標高效分析，讓用戶隨時進行個性化統(tǒng)計和不間斷的分析，輔助商業(yè)決策。

6.5、行業(yè)對比優(yōu)勢

對比友商/社區(qū)版本：數(shù)據(jù)自動均衡解決集群擴容帶來的運維問題、schemaless解決半結(jié)構(gòu)化數(shù)據(jù)查詢性能問題。

七、小結(jié)

本文介紹了Elasticsearch的現(xiàn)狀和行業(yè)問題，并詳細介紹了騰訊云推出的Elasticsearch?Serverless服務及其優(yōu)勢特性。同時，還介紹了存算分離技術，以及新版本中提供的強大的云端AI增強與向量檢索能力。

Elasticsearch是一個開源的分布式搜索和分析引擎，在處理大規(guī)模數(shù)據(jù)集方面具有快速、實時的搜索和分析功能。然而，傳統(tǒng)的Elasticsearch在彈性能力、集群容量規(guī)劃和運維管理等方面存在一些問題。為了解決這些問題，騰訊云推出了Elasticsearch?Serverless服務，采用自研的云原生Serverless技術架構(gòu)，具有自動彈性和免運維能力，可以有效地解決日志分析等業(yè)務場景中的資源成本問題。

Elasticsearch?Serverless服務的優(yōu)勢特性包括索引自動彈性、完全免運維、高成本效益、靈活易用、開放集成、穩(wěn)定可靠等。通過存算分離技術，將數(shù)據(jù)存儲到對象存儲中，去除了計算和存儲冗余，降低了成本，并實現(xiàn)了秒級的彈性優(yōu)勢。

此外，新版本的Elasticsearch提供了強大的云端AI增強與向量檢索能力。結(jié)合向量化和AI大模型，可以為搜索帶來更好的能力，提升用戶體驗，并在企業(yè)應用和商業(yè)增長方面發(fā)揮作用。ES具有原生向量搜索和混合搜索能力，在全文檢索、多路召回和聚合分析方面表現(xiàn)出色，同時提供了端到端的一站式向量檢索方案，降低了企業(yè)算法工程接入成本。

數(shù)據(jù)湖計算產(chǎn)品DLC是騰訊云基于云原生和Serverless架構(gòu)的大數(shù)據(jù)分析服務。它集成了數(shù)據(jù)湖和數(shù)據(jù)倉庫的優(yōu)勢，具備云原生特性，支持多源聯(lián)合查詢和標準SQL語言。DLC具有資源極致彈性和云端無縫融合的特點。在實際應用中，DLC在百萬級實時Upsert場景中展示出了成功的應用價值，提高了數(shù)據(jù)處理效率并降低了成本。DLC適用于敏捷實時數(shù)據(jù)湖分析、企業(yè)日志批量查詢、敏捷搭建數(shù)據(jù)中臺等多種場景，用戶可以通過DLC快速生成數(shù)據(jù)報表、實現(xiàn)數(shù)據(jù)可視化，并能夠靈活地在不同引擎之間切換以滿足各種使用需求。同時，通過結(jié)合Wedata等技術，還能夠?qū)?shù)據(jù)導入或?qū)С龅狡渌麛?shù)據(jù)產(chǎn)品和數(shù)據(jù)源，進一步發(fā)揮不同產(chǎn)品的優(yōu)勢。

TCHouse-C是基于ClickHouse開源引擎的全托管數(shù)據(jù)倉庫產(chǎn)品，具有高性能的列式分布式數(shù)據(jù)庫管理系統(tǒng)。它具有彈性效率、性能優(yōu)化和運維能力等優(yōu)勢，并提供簡單易用、極致性能、彈性伸縮、安全可靠和成本更低等特點。TCHouse-C適用于處理大規(guī)模數(shù)據(jù)分析任務，可以滿足企業(yè)對于大量數(shù)據(jù)處理、實時要求和成本控制等需求。相較于其他友商或社區(qū)版本，TCHouse-C通過資源成本更低、自動均衡數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)查詢性能優(yōu)化等方面具備行業(yè)對比優(yōu)勢。它可以極大提升日志場景下對半結(jié)構(gòu)化數(shù)據(jù)的實時分析性能。

騰訊云的Elasticsearch?Serverless服務,數(shù)據(jù)湖計算產(chǎn)品DLC，TCHouse-C以及新版本的AI增強與向量檢索能力，為企業(yè)提供了高效、穩(wěn)定和可靠的解決方案，幫助企業(yè)降低成本、提升效率，并在競爭激烈的市場中獲得商業(yè)增長的優(yōu)勢。

我是虛竹哥，我們下文見～文章來源地址http://www.zghlxwxcb.cn/news/detail-717015.html