1、企業(yè)級實戰(zhàn)問題

向量組合條件查詢，報 [vector] malformed query, expected [END_OBJECT] but found [FIELD_NAME] 錯誤，

向量查詢是不支持復合條件查詢嗎？

GET?/my_index/_search
{
??"size":2,
??"_source":?true,?
??"query":?{
????"vector":?{
??????"my_vector":?{
????????"vector":?[1,?1],
????????"topk":2
??????}
????},
????"bool":?{
??????"must":?[
????????{
??????????"match":?{
????????????"my_label":"red"
??????????}
????????}
??????]
????}
??}
}

——問題來自：死磕 Elasticsearch 知識星球

https://t.zsxq.com/18skX0ZS6

類似問題在社群里被問到 2 次以上了！

向量搜索熱度不減，所以我們非常有必要將向量搜索和普通搜索結合方式給大家講清楚。

換句話說，向量搜索和普通搜索的組合檢索才是 Elasticsearch 作為向量數據庫有別于其他新興向量數據庫的發(fā)力點所在。

更多向量檢索的先驗知識，推薦大家閱讀：

1. 干貨 | 詳述 Elasticsearch 向量檢索發(fā)展史
   

2. 高維向量搜索：在 Elasticsearch 8.X 中利用 dense_vector 的實戰(zhàn)探索
   

3. Elasticsearch：普通檢索和向量檢索的異同？
   

4. Elasticsearch 8.X “圖搜圖”實戰(zhàn)
   

2、一邊實戰(zhàn)，一邊驗證

如下所有驗證都是在 Elasticsearch 8.11.0 集群環(huán)境下完成的。

2.1 步驟 1: 創(chuàng)建索引

首先，通過PUT image-index 請求，創(chuàng)建了一個名為 image-index 的索引，并定義了其映射。

這個映射指定了索引中文檔將包含的字段及其類型：

• image-vector：一個類型為dense_vector的字段，用于存儲 ** 3 維 ** 向量數據。

• title：一個text類型的字段，用于存儲圖像的標題。

• file-type：一個keyword類型的字段，用于存儲文件類型，如"jpeg"、"png"、"gif"等。

• my_label：另一個text類型的字段，可以用于存儲任何標簽信息，如顏色標簽"red"、"blue"等。

PUT?image-index
{
??"mappings":?{
????"properties":?{
??????"image-vector":?{
????????"type":?"dense_vector",
????????"dims":?3
??????},
??????"title":?{
????????"type":?"text"
??????},
??????"file-type":?{
????????"type":?"keyword"
??????},
??????"my_label":?{
????????"type":?"text"
??????}
????}
??}
}

2.2 步驟 2: 批量插入數據

使用 POST /image-index/_bulk 請求，批量插入了多個文檔到 image-index 索引。

每個文檔包含了一個向量、標題、文件類型和標簽。

這些文檔反映了不同的圖像信息，每個圖像都有自己的向量表示、標題、文件類型和顏色標簽。

POST?image-index/_bulk
{?"index":?{}?}
{?"image-vector":?[-5,?9,?-12],?"title":?"Image?A",?"file-type":?"jpeg",?"my_label":?"red"?}
{?"index":?{}?}
{?"image-vector":?[10,?-2,?3],?"title":?"Image?B",?"file-type":?"png",?"my_label":?"blue"?}
{?"index":?{}?}
{?"image-vector":?[4,?0,?-1],?"title":?"Image?C",?"file-type":?"gif",?"my_label":?"red"?}

2.3 步驟3：基于已有認知嘗試組合檢索

knn 檢索咱講過，翻一下官方文檔即可。

https://www.elastic.co/guide/en/elasticsearch/reference/current/knn-search.html

官方示例如下：

POST?image-index/_search
{
??"knn":?{
????"field":?"image-vector",
????"query_vector":?[-5,?9,?-12],
????"k":?10,
????"num_candidates":?100
??},
??"fields":?[?"title",?"file-type"?]
}

正好和我們的示例是契合的，我們先執(zhí)行一下，如下圖所示，全體數據均可召回。

接下來，嘗試再加上普通檢索。

• 并列組合

• 大 BOOL 組合寫

• 組合到內部 咱們挨個試試：

2.3.1 嘗試方式一：并列組合檢索

可以執(zhí)行，可以召回結果數據。

但結果沒有達到預期，我們過濾的 red ，召回結果里有 blue。如下圖所示。

結論：并列組合檢索不可行。

2.3.2 方式二：大 BOOL 組合寫

按照常規(guī)邏輯的 bool 組合檢索，結果發(fā)現：并不支持！

2.3.3 方式三：組合到內部

直接將過濾檢索組合到 knn 內部，會報錯，語法并不支持！

那，怎么辦？

不能再猜了，看官方文檔如何支持的？

https://www.elastic.co/guide/en/elasticsearch/reference/current/knn-search.html

官方文檔給出兩份答案。

2.3.4 官方答案一：Filtered kNN search

如下實現語法的核心：knn 向量檢索的里面加了 filter 過濾。

POST?image-index/_search
{
??"knn":?{
????"field":?"image-vector",
????"query_vector":?[
??????54,
??????10,
??????-2
????],
????"k":?5,
????"num_candidates":?50,
????"filter":?{
??????"match":?{
????????"my_label":?"red"
??????}
????}
??},
??"fields":?[
????"title",
????"file-type",
????"my_label"
??],
??"_source":?false
}

針對前面提到問題的解決方案，這是咱們推薦的唯一正確的檢索方式。

2.3.5 官方答案二：hybrid ?search 混合檢索

這個方式，就是咱們前面驗證過的并列組合檢索方式。結論和之前一致，并沒有達到預期。

POST?image-index/_search
{
??"query":?{
????"match":?{
??????"my_label":?{
????????"query":?"red"
??????}
????}
??},
??"knn":?{
????"field":?"image-vector",
????"query_vector":?[
??????54,
??????10,
??????-2
????],
????"k":?5,
????"num_candidates":?50,
????"boost":?0.1
??},
??"size":?10
}

3、小結

查詢方式千萬種，我們需要敲定適合自己業(yè)務場景的方式。

基于已有的常識組合檢索是一種方式，更快的方式是結合官方文檔探究。

我們既定認為的檢索方式，不見得是官方推薦的方式。

官方推薦的：Filtered kNN search 查詢結合了基于內容的過濾和基于向量的搜索，旨在找出既符合文本查詢條件（如標簽為"red"）又在向量空間中與給定查詢向量最接近的文檔。

這樣的查詢在處理如圖像、文檔或音頻等多媒體內容時特別有用，其中內容可以通過向量（例如通過機器學習模型生成的嵌入）和元數據（如標簽、標題或類型）來描述。

通過這種方式，我們可以高效地找到既滿足特定元數據條件又在內容上與給定示例相似的項目，這對于構建推薦系統(tǒng)、圖像搜索引擎或其他需要結合內容和上下文信息進行精準檢索的應用場景非常有價值。

此處后續(xù)版本可能有變化，更多細節(jié)，以最新版本的官方文檔為準。

---

7 年+積累、 Elastic 創(chuàng)始人Shay Banon 等 15 位專家推薦的 Elasticsearch 8.X新書已上線

更短時間更快習得更多干貨！

和全球?近2000+?Elastic 愛好者一起精進！

elastic6.cn——ElasticStack進階助手

比同事搶先一步學習進階干貨！文章來源地址http://www.zghlxwxcb.cn/news/detail-847710.html