“除了向量數(shù)據(jù)庫(kù)外，我是否還需要一個(gè)普通的 SQL 數(shù)據(jù)庫(kù)？”

這是我們經(jīng)常被問到的一個(gè)問題。如果除了向量數(shù)據(jù)以外，用戶還有其他標(biāo)量數(shù)據(jù)信息，那么其業(yè)務(wù)可能需要在進(jìn)行語(yǔ)義相似性搜索前先根據(jù)某種條件過濾數(shù)據(jù)，例如：

• 在法律領(lǐng)域，可能只需要從某個(gè)特定數(shù)據(jù)庫(kù)中搜索相關(guān)的法律條款；

• 在零售業(yè)，可能需要搜索某個(gè)尺碼的男鞋；

• 在圖像搜索時(shí)，可能希望搜索 2010-2016 年上映且 IMDB 電影評(píng)分高于 7.0 的電影的海報(bào)。

對(duì)此，我們的答案是——不需要。用向量數(shù)據(jù)庫(kù) Milvus 或全托管的 Milvus 服務(wù)——Zilliz Cloud，就無需額外再維護(hù)一個(gè) SQL 數(shù)據(jù)庫(kù)存儲(chǔ)標(biāo)量了。只要一個(gè)系統(tǒng)，用戶便可起送實(shí)現(xiàn)“向量搜索+標(biāo)量過濾”的混合查詢，從而獲取更精準(zhǔn)的搜索結(jié)果。

其中，Milvus 允許用戶在進(jìn)行向量搜索時(shí)依據(jù)標(biāo)量數(shù)據(jù)進(jìn)行條件過濾，數(shù)據(jù)屬性可以是除向量以外的任何字段。Milvus 會(huì)對(duì)向量字段創(chuàng)建向量索引并進(jìn)行向量相似性搜索，與此同時(shí)，還可以通過表達(dá)式對(duì)搜索結(jié)果進(jìn)行元數(shù)據(jù)過濾。只需在搜索時(shí)輸入過濾表達(dá)式，Milvus 就會(huì)幫你自動(dòng)進(jìn)行這兩種操作。

本教程使用 Zilliz Cloud Pipelines—— Zilliz Cloud 內(nèi)置的功能，用于將非結(jié)構(gòu)化數(shù)據(jù)編碼為 Embedding 向量，同時(shí)支持用文本和過濾表達(dá)式直接搜索向量。我們將演示如何利用標(biāo)量過濾來召回只符合某些特定條件的文檔片段，例如特定的來源網(wǎng)址，或者特定的文件名稱。大家也可以利用類似的思路實(shí)現(xiàn)召回帶有特定標(biāo)簽的文檔，例如發(fā)表年份、版本號(hào)等。

01. 創(chuàng)建 Collection 和 Pipelines

本教程需要用到 Zilliz Cloud 免費(fèi)版（海外版）。Zilliz Cloud 是全托管的 Milvus 服務(wù)，將用戶的數(shù)據(jù)庫(kù)部署在 Serverless 云服務(wù)器上，但我們?nèi)耘f可以通過調(diào)用 PyMiluvs API 接口在本地使用 Zilliz Cloud 向量數(shù)據(jù)庫(kù)。以下用來測(cè)試的文本內(nèi)容來自于 PyMilvus 文檔

1. 打開 https://cloud.zilliz.com/ 并創(chuàng)建 “Starter” 版本集群。

2. 添加 Collection 名稱，點(diǎn)擊“創(chuàng)建 Collection 和 集群”。

默認(rèn)情況下，創(chuàng)建 Zilliz Cloud 集群時(shí)會(huì)同時(shí)創(chuàng)建 1 個(gè) Collection，本教程中不會(huì)使用它。后面我們創(chuàng)建 Zilliz Cloud Pipelines 時(shí)，會(huì)自動(dòng)創(chuàng)建另一個(gè) Collection。請(qǐng)注意，這兩個(gè) Collection 不相同。

3. 在左側(cè)導(dǎo)航欄中點(diǎn)擊 Piplines，跟隨界面提示創(chuàng)建 Pipelines 并上傳數(shù)據(jù)：

a. 請(qǐng)先選擇創(chuàng)建“Ingestion Pipeline”。

b. 選擇剛剛創(chuàng)建的 Serverless 集群，分別輸入 Collection 和 Pipeline 名稱，點(diǎn)擊“添加 function”。

c. 選擇INDEX_DOC function，輸入function名稱，其他參數(shù)值保留默認(rèn)即可，點(diǎn)擊“添加”。這個(gè)function會(huì)將文檔切片生成向量。

d. （可選）再次點(diǎn)擊“添加 function”。

e. （可選）選擇 PRESERVE function，并為其命名，點(diǎn)擊“添加”。這個(gè) function 用來保存文檔的標(biāo)簽信息。

4. 點(diǎn)擊“創(chuàng)建 Ingestion Pipeline”?，F(xiàn)在，我們已經(jīng)完成創(chuàng)建 Ingestion Pipeline 和 Collection。

5. 點(diǎn)擊“創(chuàng)建 Deletion 和 Search Pipeline”。

6. 進(jìn)入 Pipelines 列表頁(yè)面，點(diǎn)擊按鈕“??”運(yùn)行 Ingestion Pipeline。

7. Ingestion Pipeline支持上傳您在對(duì)象存儲(chǔ)上的文件（例如AWS S3 和 Google Cloud Storage）。本例中我們將數(shù)據(jù)上傳至 AWS S3。上傳完成后，點(diǎn)擊“通過 Pre-signed-URL 分享”。復(fù)制分享鏈接（Pre-signed URL）。如果沒有對(duì)象存儲(chǔ)，可以使用我們提供的測(cè)試文件鏈接 https://publicdataset.zillizcloud.com/milvus_doc.md 當(dāng)作Pre-signed URL。

8. 在代碼中粘貼Pre-signed URL 并點(diǎn)擊運(yùn)行。這步會(huì)將文件進(jìn)行分片提取向量并導(dǎo)入到向量數(shù)據(jù)庫(kù) Collection 中。

9. 進(jìn)入collection頁(yè)面，檢查 Collection 和 Schema 是否正確。此時(shí)文檔片段的向量應(yīng)該已經(jīng)顯示在Data Preview中了。

之后，可以在 Playground 界面上或者通過調(diào)用 API 來查詢數(shù)據(jù)。

02. 用標(biāo)量過濾召回符合特定標(biāo)簽的向量

1. 在 Pipeline 列表中找到 “Search Pipeline”并點(diǎn)擊右側(cè)的按鈕“??”運(yùn)行 Search Pipeline。

2. 在請(qǐng)求中，輸入一個(gè)問題并點(diǎn)擊“運(yùn)行”。

3. 編輯“過濾條件”。請(qǐng)使用布爾表達(dá)式。點(diǎn)擊運(yùn)行后，可以看到 Zilliz Cloud 已經(jīng)根據(jù)您輸入的條件過濾了搜索結(jié)果。

用 Zilliz Cloud Pipelines 進(jìn)行元數(shù)據(jù)過濾就是這么簡(jiǎn)單！你可以通過布爾表達(dá)式針對(duì)除向量字段以外的所有標(biāo)量字段進(jìn)行條件過濾。

03. 通過 API 接口進(jìn)行搜索

同樣，我們也可以通過調(diào)用 API 接口來進(jìn)行搜索，使用 API 過程中，用戶需要提供以下兩點(diǎn)：

• Zilliz API Token

• Pipeline ID

我們可以通過集群詳情頁(yè)獲取 API Token。

如需獲取 Pipeline ID，請(qǐng)先在 Pipelines 列表頁(yè)找到 Search Pipeline，隨后在 Pipeline ID 一欄中復(fù)制該 Pipelines 的ID。在調(diào)用 API 接口時(shí)將 Pipeline ID 粘貼到 URL 中。

import requests, json
url = "https://controller.api.gcp-us-west1.zillizcloud.com/v1/pipelines/pipe-xxxx/run"
headers = {
    "Content-Type": "application/json",
    "Authorization": f"Bearer {TOKEN}",
}
data = {
    "data": {
        "query_text": SAMPLE_QUESTION
    },
    "params": {
        "limit": TOP_K,
        "offset": 0,
        # Any of these fields can be used in filter expression.
        "outputFields": ["chunk_text", "chunk_id", "doc_name", "source"],
        "filter": "doc_name == 'param.html'"
    }
}

# Send the POST request
response = requests.post(url, headers=headers, json=data)

用 API 進(jìn)行元數(shù)據(jù)過濾搜索就是這么簡(jiǎn)單！如果大家有興趣了解更多 Zilliz Cloud Pipelines 的使用方法，可以參考 Notebook用 Pipelines 搭建一個(gè)有標(biāo)簽過濾功能的 RAG 問答機(jī)器人，歡迎上手嘗試。