1、問題來源

這是來自社區(qū)的一個真實企業(yè)場景問題。

https://elasticsearch.cn/question/13135

如下所示， 希望在查出的結(jié)果后， 對結(jié)果進(jìn)行后處理，對tags列表，根據(jù)depth進(jìn)行排序。

{
"keyProperty":"22",
"name":"測試內(nèi)容",
"_class":"com.xxxxxxxx.ElasticSearchContent",
"contentType":"attractionArea",
"content":"這是一條測試內(nèi)容",
"timestamp":1701325254191,
"tags":[
{
"path":"33^^35^^36^^38",
"depth":4,
"id":38,
"label":"測試42"
},
{
"path":"33^^35^^36^^37^^39",
"depth":5,
"id":39,
"label":"測試51"
},
{
"path":"33^^35",
"depth":2,
"id":35,
"label":"測試22"
}
]
}

2、分析一下

Elasticsearch 能支持的排序方式羅列如下：

包含但不限于：

1. 基于特定字段的排序

2. 基于Nested對象字段的排序

3. 基于特定腳本實現(xiàn)的排序

等等......

參見：

https://www.elastic.co/guide/en/elasticsearch/reference/current/sort-search-results.html#nested-sorting

再看咱們的開篇需求，

• 第一：檢索返回結(jié)果；

• 第二：基于結(jié)果的 tags 數(shù)組下的子字段 depth 進(jìn)行排序。

字段排序分類中的：基于特定字段的排序和基于 Nested 對象字段的排序，是對整個查詢結(jié)果集進(jìn)行排序，這在 Elasticsearch 中通常是針對頂層文檔字段或者簡單嵌套字段進(jìn)行的。

而咱們開篇需求的應(yīng)用場景和實現(xiàn)方式與之是不同的，哪咋辦？

見招拆招了，只能考慮基于特定腳本實現(xiàn)的排序了。

要實現(xiàn)開篇的需求——即對每個文檔的 tags 列表進(jìn)行排序，需要在返回結(jié)果中對這些 tags 列表進(jìn)行處理。

通常有兩大類方案：

• 使用腳本字段（script_fields）實現(xiàn)；

• 在查詢結(jié)果返回后在客戶端進(jìn)行處理，大白話：自己Java或Python程序?qū)用嫣幚怼?/p>

3、嘗試拆解實現(xiàn)

咱們要先模擬構(gòu)造數(shù)據(jù)，包含創(chuàng)建索引和bulk 批量構(gòu)造寫入數(shù)據(jù)兩個部分。

創(chuàng)建索引如下：

PUT?/example_index
{
??"mappings":?{
????"properties":?{
??????"keyProperty":?{
????????"type":?"keyword"
??????},
??????"name":?{
????????"type":?"text"
??????},
??????"_class":?{
????????"type":?"keyword"
??????},
??????"contentType":?{
????????"type":?"keyword"
??????},
??????"content":?{
????????"type":?"text"
??????},
??????"timestamp":?{
????????"type":?"date"
??????},
??????"tags":?{
????????"type":?"nested",
????????"properties":?{
??????????"path":?{
????????????"type":?"keyword"
??????????},
??????????"depth":?{
????????????"type":?"integer"
??????????},
??????????"id":?{
????????????"type":?"integer"
??????????},
??????????"label":?{
????????????"type":?"text"
??????????}
????????}
??????}
????}
??}
}

導(dǎo)入數(shù)據(jù)：

POST?/example_index/_bulk
{"index":{"_id":1}}
{"keyProperty":"22","name":"測試內(nèi)容1","_class":"com.xxxxxxxx.ElasticSearchContent","contentType":"attractionArea","content":"這是一條測試內(nèi)容","timestamp":1701325254191,"tags":[{"path":"33^^35^^36^^38","depth":4,"id":38,"label":"測試42"},{"path":"33^^35^^36^^37^^39","depth":5,"id":39,"label":"測試51"},{"path":"33^^35","depth":2,"id":35,"label":"測試22"}]}
{"index":{"_id":2}}
{"keyProperty":"23","name":"測試內(nèi)容2","_class":"com.xxxxxxxx.ElasticSearchContent","contentType":"attractionArea","content":"這是另一條測試內(nèi)容","timestamp":1701325254200,"tags":[{"path":"33^^35^^36","depth":5,"id":36,"label":"測試33"},{"path":"33^^35^^37","depth":3,"id":37,"label":"測試34"}]}

3.1 方案一：腳本字段（script_fields）實現(xiàn)自建排序

GET?/example_index/_search
{
??"query":?{
????"nested":?{
??????"path":?"tags",
??????"query":?{
????????"match_all":?{}
??????}
????}
??},
??"script_fields":?{
????"sorted_tags":?{
??????"script":?{
????????"lang":?"painless",
????????"source":?"""
????????if?(!params._source.tags.empty)?{
??????????def?tags?=?new?ArrayList(params._source.tags);
??????????boolean?swapped;
??????????do?{
????????????swapped?=?false;
????????????for?(int?i?=?0;?i?<?tags.size()?-?1;?i++)?{
??????????????if?(tags[i].depth?>?tags[i?+?1].depth)?{
????????????????def?temp?=?tags[i];
????????????????tags[i]?=?tags[i?+?1];
????????????????tags[i?+?1]?=?temp;
????????????????swapped?=?true;
??????????????}
????????????}
??????????}?while?(swapped);
??????????return?tags;
????????}?else?{
??????????return?null;
????????}
??????"""
??????}
????}
??}
}

召回結(jié)果如下：

有人可能會說，這不是扯嗎？都整出個冒泡排序來了。

是的，就是傳統(tǒng)的數(shù)組排序的腳本實現(xiàn)。當(dāng)沒有辦法的時候，不考慮性能的時候，笨辦法也是辦法。

在 Elasticsearch 中處理大量數(shù)據(jù)時運行復(fù)雜的腳本可能會消耗較多的計算資源！

還有，冒泡排序是一種效率較低的排序算法，特別是對于大列表，其性能不是最佳的。

相比于使用 Elasticsearch 內(nèi)置的排序功能，手動實現(xiàn)排序算法增加了腳本的復(fù)雜性。

3.2 方案二：腳本字段實現(xiàn)自建排序——lamda表達(dá)式排序

GET?/example_index/_search
{
??"query":?{
????"nested":?{
??????"path":?"tags",
??????"query":?{
????????"match_all":?{}
??????}
????}
??},
??"script_fields":?{
????"sorted_tags":?{
??????"script":?{
????????"lang":?"painless",
????????"source":?"""
??????????if?(!params._source.tags.empty)?{
????????????def?tags?=?new?ArrayList(params._source.tags);
????????????tags.sort((a,?b)?->?a.depth.compareTo(b.depth));
????????????return?tags;
??????????}?else?{
????????????return?null;
??????????}
????????"""
??????}
????}
??},
??"size":?10
}

這里使用了一個 lambda 表達(dá)式 (a, b) -> a.depth.compareTo(b.depth)。最后，返回排序后的 tags。

參見：

https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-scripting-fields.html

執(zhí)行結(jié)果如下：

3.3 方案三：業(yè)務(wù)層面代碼實現(xiàn)

啥意思，召回檢索結(jié)果后，自己在內(nèi)存里排序，想使用什么排序自便，按照自己習(xí)慣就可以。當(dāng)然，Elastic中文社區(qū)創(chuàng)始人 、極限科技 CEO medcl 大佬也給出了他的網(wǎng)關(guān)方案：

寫個 JS 腳本，通過極限網(wǎng)關(guān)，無縫的對查詢結(jié)果進(jìn)行改寫就行了：

https://infinilabs.com/docs/latest/gateway/tutorial/path_rewrite_by_javascript/

這其實給復(fù)雜查詢給了另一個更高維度升維的思考，值得借鑒。

4、小結(jié)

將問題展開，才能找到解決問題的方案。

當(dāng)實現(xiàn)方案變得非常復(fù)雜，涉及性能問題時候，數(shù)據(jù)量少都沒有問題；數(shù)據(jù)量大后，可以考慮找其他方案。

你如果也有類似困惑，歡迎交流。

推薦閱讀

1. 全網(wǎng)首發(fā)！從 0 到 1 Elasticsearch 8.X 通關(guān)視頻

2. 重磅 | 死磕 Elasticsearch 8.X 方法論認(rèn)知清單

3. 如何系統(tǒng)的學(xué)習(xí) Elasticsearch ？

4. 2023，做點事

5. 干貨 | Elasticsearch Nested 數(shù)組大小求解，一網(wǎng)打盡！

6. Elasticsearch Nested 選型，先看這一篇！

7. 干貨 | 拆解一個 Elasticsearch Nested 類型復(fù)雜查詢問題

8. 干貨 | Elasticsearch Nested類型深入詳解
   

更短時間更快習(xí)得更多干貨！

和全球?近2000+?Elastic 愛好者一起精進(jìn)！

比同事?lián)屜纫徊綄W(xué)習(xí)進(jìn)階干貨！文章來源地址http://www.zghlxwxcb.cn/news/detail-787088.html