1、實(shí)戰(zhàn)問(wèn)題

POST?test-002/_bulk
{"index":{"_id":1}}
{"name":?"張三","city":?"beijing"}
{"index":{"_id":2}}
{"name":?"李四","city":?"beijing"}
{"index":{"_id":3}}
{"name":?"王五","city":?"shanghai"}
{"index":{"_id":4}}
{"name":?"趙六","city":?"shanghai"}

請(qǐng)教老師， 上面的是我在es保存的數(shù)據(jù)， 想寫一個(gè)dsl， 求出來(lái) beijing 占比 50%， shanghai 占比 50%。

死磕Elasticsearch知識(shí)星球 https://t.zsxq.com/0bqpcJiLL

2、問(wèn)題分析

類似問(wèn)題，樣例數(shù)據(jù)單看計(jì)算不復(fù)雜，“beijing” 2 個(gè)，“上?！?2 個(gè)，“beijing”占比: 2/(2+2) = 50%; "shanghai"同樣計(jì)算，占比 50%。

業(yè)務(wù)層面，建議獲取到分桶聚合結(jié)果后，直接代碼求解百分比效率更高。

僅就上面數(shù)據(jù)解釋如下，兩個(gè)步驟搞定。

• 第一步：基于city 字段分桶聚合。

POST?test-002/_search
{
??"size":?0,
??"aggs":?{
????"city_aggs":?{
??????"terms":?{
????????"field":?"city",
????????"size":?10
??????}
????}
??}
}

獲取結(jié)果如下截圖所示。

第二步：業(yè)務(wù)代碼層面（python或Java或其他），直接來(lái)個(gè)除法搞定。

如上，才是效率最高的方案，尤其數(shù)據(jù)量巨大的業(yè)務(wù)場(chǎng)景。

問(wèn)題來(lái)了，我就想讓 Elasticsearch 搞定計(jì)算，怎么辦？

我們需要在剛才分桶聚合的基礎(chǔ)上，獲取桶內(nèi)“beijing”、“shanghai”的值，然后做除法。

這里的除法本質(zhì)會(huì)用到 Elasticsearch Pipeline 子聚合 bucket_script 的概念。

講到這里，有必要再把聚合梳理一遍。

3、聚合詳解

3.1 聚合全局認(rèn)知

聚合分類

核心分為三大類：

（1）Bucket 分桶聚合

通俗舉例：開(kāi)篇示例，按照“city”分桶，“beijing”一桶、“shanghai”一桶。

協(xié)議分桶聚合餅圖

時(shí)間走勢(shì)聚合示意圖

（2）Metrics 指標(biāo)聚合

通俗舉例：求一組數(shù)據(jù)中的最大值；求一組數(shù)的平均值。

（3）Pipeline子聚合（基于聚合的聚合）

通俗舉例：以B站視頻為例，首先按年度統(tǒng)計(jì)每年最大觀看量視頻，然后再統(tǒng)計(jì)觀看量最大視頻所在的年份（基于聚合再聚合）。

如果基礎(chǔ)概念還有點(diǎn)模糊，推薦閱讀：基于兒童積木玩具圖解 Elasticsearch 聚合。

3.2 Pipeline子聚合全局認(rèn)知

子聚合核心又可以分為兩類：

• parent 子聚合

• sibling 子聚合

子聚合分類

分類的依據(jù)更通俗講是語(yǔ)法規(guī)則的不同。

4、Pipeline子聚合詳解

為了更清楚的說(shuō)明兩者的不同，重構(gòu)了樣例數(shù)據(jù)如下。

####重構(gòu)后的樣例數(shù)據(jù)
DELETE?test-002
PUT?test-002
{
??"mappings":?{
????"properties":?{
??????"sale_data":?{
????????"type":?"date",
????????"format":?"yyyy-MM-dd"
??????},
??????"sale_count":?{
????????"type":?"long"
??????},
??????"name":?{
????????"type":?"keyword"
??????},
??????"city":?{
????????"type":?"keyword"
??????}
????}
??}
}

POST?test-002/_bulk
{"index":{"_id":1}}
{"name":"張三","city":"beijing","sale_date":"2023-01-08","sale_count":100}
{"index":{"_id":2}}
{"name":"李四","city":"beijing","sale_date":"2023-01-18","sale_count":5000}
{"index":{"_id":3}}
{"name":"王五","city":"shanghai","sale_date":"2022-11-08","sale_count":300}
{"index":{"_id":4}}
{"name":"趙六","city":"shanghai","sale_date":"2022-12-28","sale_count":1000}

4.1 sibling 子聚合舉例

• 需求描述：按照月份統(tǒng)計(jì)每個(gè)月的總銷量，并獲取月總銷量最大的月份？

• 需求拆解：

（1）按照月份統(tǒng)計(jì)：使用 bucket 分桶聚合的date_histogram時(shí)間走勢(shì)直方圖聚合實(shí)現(xiàn)。?

（2）每個(gè)月的總銷量：在按照月份統(tǒng)計(jì)的基礎(chǔ)上進(jìn)行嵌套聚合，借助Metric指標(biāo)聚合的sum實(shí)現(xiàn)。?

（3）獲取月總銷量最大的月份：使用 Pipeline 子聚合的 Max_bucket 實(shí)現(xiàn)。

最終實(shí)現(xiàn)：

POST?test-002/_search
{
??"size":?0,
??"aggs":?{
????"sales_per_month":?{
??????"date_histogram":?{
????????"field":?"sale_date",
????????"calendar_interval":?"month"
??????},
??????"aggs":?{
????????"sales":?{
??????????"sum":?{
????????????"field":?"sale_count"
??????????}
????????}
??????}
????},
????"max_monthly_sales":?{
??????"max_bucket":?{
????????"buckets_path":?"sales_per_month?>?sales"
??????}
????}
??}
}

4.2 parent 子聚合舉例

• 需求描述：文章開(kāi)頭，求“beijing”、“shanghai”的各占百分比 ？

• 需求拆解：

（1）按照 city 分桶：獲取“beijing”、“shanghai”的 bucket 分桶聚合結(jié)果。

（2）計(jì)算百分比：借助 “bucket_script” 腳本子聚合實(shí)現(xiàn)。

這里實(shí)現(xiàn)層面不簡(jiǎn)單是上面的兩步就可以完成。

核心原因在于：bucket_script 是 “parent”類型的子聚合，進(jìn)一步說(shuō)，它需要嵌套在外層聚合的里面，外層聚合就相當(dāng)于它的“parent”，新加的子聚合相當(dāng)于“child”。

外層怎么加，這個(gè)類似咱們之前的實(shí)現(xiàn)：圖解：Elasticsearch 8.X 如何求解環(huán)比上升比例？

需要借助 filters 過(guò)濾聚合整出一個(gè)全量數(shù)據(jù)集，然后在此基礎(chǔ)上統(tǒng)計(jì)分桶、桶內(nèi)數(shù)據(jù)量，并借助 bucket_script 實(shí)現(xiàn)百分比。

具體實(shí)現(xiàn)如下：

POST?test-002/_search
{
??"size":?0,
??"aggs":?{
????"all_datas":?{
??????"filters":?{
????????"filters":?{
??????????"all_dates_no_process":?{
????????????"match_all":?{}
??????????}
????????}
??????},
??????"aggs":?{
????????"bucket_by_city":?{
??????????"terms":?{
????????????"field":?"city",
????????????"size":?10
??????????}
????????},
????????"counts_of_city":?{
??????????"value_count":?{
????????????"field":?"city"
??????????}
????????},
????????"bj_percents":?{
??????????"bucket_script":?{
????????????"buckets_path":?{
??????????????"bj_count":?"bucket_by_city['beijing']>_count",
??????????????"all_counts":?"counts_of_city"
????????????},
????????????"script":?"params.bj_count?/?params.all_counts"
??????????}
????????},
????????"sh_percents":?{
??????????"bucket_script":?{
????????????"buckets_path":?{
??????????????"sh_count":?"bucket_by_city['shanghai']>_count",
??????????????"all_counts":?"counts_of_city"
????????????},
????????????"script":?"params.sh_count?/?params.all_counts"
??????????}
????????}
??????}
????}
??}
}

不常用參數(shù)：bucket_by_city['beijing']>_count 含義如下：

獲取“beijing”桶下的count計(jì)數(shù)結(jié)果。

折疊圖如下圖所示，parent 類別的含義由此而來(lái)。

最終百分比結(jié)果如下：

至此，開(kāi)篇問(wèn)題求解完畢。

5、bucket_script、bucket_selector、bucket_sort 的定義和應(yīng)用場(chǎng)景？

• Bucket selector選擇子聚合：對(duì)聚合的結(jié)果執(zhí)行進(jìn)一步的篩選和運(yùn)算。

• Bucket script 腳本子聚合：在聚合的結(jié)果上執(zhí)行腳本運(yùn)算，以生成新的聚合結(jié)果。

• Bucket sort 排序子聚合：用聚合結(jié)果的任意字段進(jìn)行排序，并返回一個(gè)排序后的桶列表。

這三類都屬于 parent 類型的子聚合。子聚合的核心是對(duì)前置聚合結(jié)果的二次聚合，所以，只有業(yè)務(wù)需求有對(duì)聚合結(jié)果再聚合的場(chǎng)景才考慮子聚合。

bucket_script?是一種特殊的子聚合功能，它允許我們?cè)诰酆系耐爸袌?zhí)行腳本。

應(yīng)用舉例：可以使用腳本來(lái)計(jì)算每個(gè)桶的平均值、百分比（如本文示例）、環(huán)比及標(biāo)準(zhǔn)差等。

bucket_selector?是一種特殊的子聚合功能，它允許我們選擇某些桶并對(duì)其進(jìn)行子聚合。

應(yīng)用舉例：可以使用選擇器選擇某些桶并統(tǒng)計(jì)它們的總和。

bucket_sort 是一種排序功能，它允許我們按指定順序?qū)ν斑M(jìn)行排序。

應(yīng)用舉例：可以按照每個(gè)桶的計(jì)數(shù)進(jìn)行排序，以便查看最頻繁的項(xiàng)目。

在實(shí)際應(yīng)用場(chǎng)景中，可以根據(jù)需要選擇使用上述功能中的一個(gè)或多個(gè)。

應(yīng)用舉例：可以對(duì)某個(gè)字段的值進(jìn)行分組，然后使用 bucket_sort 對(duì)分組后的桶進(jìn)行排序，并使用bucket_script在桶中執(zhí)行腳本，最后使用bucket_selector選擇某些桶并對(duì)其進(jìn)行聚合。

這樣，我們可以對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行多層次的分析和統(tǒng)計(jì)功能。

6、小結(jié)

由百分比的問(wèn)題引申出聚合分類，由聚合分類引申出Pipeline 子聚合的兩個(gè)子類型：parent、sibling（兄弟）的區(qū)別，更進(jìn)一步引申出bucket_script、bucket_selector、bucket_sort的定義和應(yīng)用場(chǎng)景。為后續(xù)類似問(wèn)題提供參考。

推薦視頻解讀：

參考

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations.html

推薦閱讀

1. 全網(wǎng)首發(fā)！從 0 到 1 Elasticsearch 8.X 通關(guān)視頻
   

2. 重磅 | 死磕 Elasticsearch 8.X 方法論認(rèn)知清單（2022年國(guó)慶更新版）
   

3. 如何系統(tǒng)的學(xué)習(xí) Elasticsearch ？

4. 2023，做點(diǎn)事

5. 圖解：Elasticsearch 8.X 如何求解環(huán)比上升比例？

更短時(shí)間更快習(xí)得更多干貨！

和全球?1800+?Elastic 愛(ài)好者一起精進(jìn)！

比同事?lián)屜纫徊綄W(xué)習(xí)進(jìn)階干貨！文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-407945.html