這是關(guān)于向量數(shù)據(jù)庫的系列文章中的第二篇。正如本系列的第一篇所提到的，2023年上半年關(guān)于向量數(shù)據(jù)庫的營(yíng)銷（不幸的是，有些是炒作）非常多，如果你正在閱讀這篇文章，你可能對(duì)向量數(shù)據(jù)庫在底層是如何工作的，以及如何在高效的向量存儲(chǔ)之上構(gòu)建搜索功能感興趣。

為什么現(xiàn)在大家都在談?wù)撓蛄繑?shù)據(jù)庫呢？在深入探討向量數(shù)據(jù)庫是什么之前，有什么可以解釋這個(gè)領(lǐng)域的活動(dòng)和投資熱潮嗎？

大型語言模型（LLM）的時(shí)代

在2022年11月，OpenAI發(fā)布了ChatGPT的早期演示（它是GPT 3.5及以上版本的OpenAI接口），隨后它迅速成為歷史上增長(zhǎng)最快的應(yīng)用程序，在僅僅5天內(nèi)就獲得了一百萬用戶??！事實(shí)上，如果你查看一些主要的開源向量數(shù)據(jù)庫存儲(chǔ)庫在GitHub上的歷史記錄，可以清楚地看到在2022年11月發(fā)布ChatGPT以及隨后在2023年3月發(fā)布ChatGPT插件后，其中一些存儲(chǔ)庫的星標(biāo)計(jì)數(shù)出現(xiàn)了明顯的增長(zhǎng)。這些因素以及它們?cè)贖acker News和流行媒體等網(wǎng)站上的相關(guān)帖子，是為什么在這個(gè)領(lǐng)域出現(xiàn)了如此多的活動(dòng)的重要原因之一。

依賴大型語言模型的問題

大型語言模型（LLMs）是生成型的，意味著它們根據(jù)用戶的提示以順序方式生成有意義、連貫的文本。然而，當(dāng)使用LLMs回答人類的問題時(shí)，它們經(jīng)常會(huì)產(chǎn)生與問題無關(guān)或事實(shí)上不正確的結(jié)果。

• LLMs經(jīng)常會(huì)產(chǎn)生幻覺，即虛構(gòu)信息，例如指向不存在的URL或編造不存在的數(shù)字。

• LLMs學(xué)習(xí)/記憶其訓(xùn)練數(shù)據(jù)的壓縮版本，雖然它們學(xué)習(xí)得很好，但并不完美—模型對(duì)數(shù)據(jù)的內(nèi)部表示總是會(huì)“丟失”一些信息。

• LLMs無法知道其訓(xùn)練完成后發(fā)生的事實(shí)。

向量數(shù)據(jù)庫有助于解決這些問題，它們作為底層存儲(chǔ)層，可以被LLMs高效地查詢以檢索事實(shí)。與傳統(tǒng)數(shù)據(jù)庫不同，向量數(shù)據(jù)庫專門將數(shù)據(jù)以向量的形式進(jìn)行本地表示。因此，我們現(xiàn)在可以構(gòu)建應(yīng)用程序，讓LLMs位于包含最新、最新的事實(shí)數(shù)據(jù)（遠(yuǎn)遠(yuǎn)超過LLMs的訓(xùn)練日期）的向量存儲(chǔ)層之上，并使用它們來“基于事實(shí)”地約束模型，緩解幻覺問題。?盡管向量數(shù)據(jù)庫（如Vespa、Weaviate、Milvus）在LLMs之前就已經(jīng)存在，但自ChatGPT發(fā)布以來，開源社區(qū)以及向量數(shù)據(jù)庫供應(yīng)商的營(yíng)銷團(tuán)隊(duì)迅速意識(shí)到它們?cè)谒阉骱蜋z索等主流用例中與高質(zhì)量文本生成的結(jié)合中的潛力。這解釋了為什么在向量數(shù)據(jù)庫領(lǐng)域出現(xiàn)了絕對(duì)的風(fēng)投資金熱潮！

什么是嵌入?

向量數(shù)據(jù)庫不僅存儲(chǔ)原始數(shù)據(jù)（可以是圖像、音頻或文本），還存儲(chǔ)其編碼形式：嵌入（embeddings）。這些嵌入實(shí)質(zhì)上是存儲(chǔ)數(shù)據(jù)的上下文表示的數(shù)字列表（即向量）。直觀地說，當(dāng)我們提到“嵌入”時(shí)，我們指的是實(shí)際存在于更高維度中的數(shù)據(jù)（圖像、文本、音頻）的壓縮、低維表示。?在存儲(chǔ)層內(nèi)，數(shù)據(jù)庫以m個(gè)向量堆棧的形式存儲(chǔ)，每個(gè)向量使用n個(gè)維度表示一個(gè)數(shù)據(jù)點(diǎn)，總大小為m×n。為了查詢性能的原因，這些堆棧通常通過分片進(jìn)行劃分。

嵌入是如何生成的?

在自然語言處理（NLP）中，Transformer的革命為工程師們提供了高效且可擴(kuò)展地生成這些壓縮表示或嵌入的豐富手段。

• 一種流行的方法是使用開源庫Sentence Transformers，可以通過Hugging Face模型中心或直接從源代碼的reposentence-transformers獲取。

• 另一種（更昂貴的）方法是使用許多API服務(wù)：OpenAI嵌入API或者Cohere嵌入API

需要記住的是，底層向量的維度越低，嵌入空間中的表示就越緊湊，這可能會(huì)影響下游任務(wù)的質(zhì)量。Sentence Transformers（sbert）提供了維度在384、512和768范圍內(nèi)的嵌入模型，而且這些模型完全免費(fèi)且開源。OpenAI和Cohere嵌入則需要付費(fèi)的API調(diào)用來生成，由于維度在幾千維，因此可以認(rèn)為它們具有更高的質(zhì)量。使用付費(fèi)API生成嵌入的一個(gè)合理原因是如果數(shù)據(jù)是多語言的（Cohere被認(rèn)為擁有高質(zhì)量的多語言嵌入模型，其性能優(yōu)于開源變體）。注：選擇嵌入模型通常是在質(zhì)量和成本之間進(jìn)行權(quán)衡。在大多數(shù)情況下，對(duì)于英文文本數(shù)據(jù)，可以直接使用開源模型，適用于不太長(zhǎng)的文本（文本序列約300-400個(gè)詞）。對(duì)于超過模型上下文長(zhǎng)度的文本，可以使用更多的外部工具來處理，但這個(gè)話題將在另一篇文章中討論！

將嵌入存儲(chǔ)在矢量數(shù)據(jù)庫中

由于向量數(shù)據(jù)庫在嵌入空間中的可操作性，它們對(duì)于多種形式的數(shù)據(jù)（文本、圖像、音頻）的語義或相似性搜索非常有用。在語義搜索中，用戶發(fā)送的輸入查詢（通常是自然語言）被轉(zhuǎn)換為向量形式，與數(shù)據(jù)本身在相同的嵌入空間中，以便返回與輸入查詢最相似的前k個(gè)結(jié)果。下面是這個(gè)過程的可視化示例。

如何計(jì)算相似度?

不同的向量數(shù)據(jù)庫提供不同的相似度計(jì)算指標(biāo)，但對(duì)于文本數(shù)據(jù)，最常用的兩個(gè)指標(biāo)如下：

• 點(diǎn)積（Dot product）：產(chǎn)生一個(gè)非歸一化的任意大小的值。
• 余弦距離（Cosine distance）：產(chǎn)生一個(gè)歸一化的值（介于-1和1之間）。

考慮一個(gè)簡(jiǎn)化的例子，我們將紅葡萄酒和白葡萄酒的標(biāo)題在二維空間中進(jìn)行向量化，其中水平軸表示紅葡萄酒，垂直軸表示白葡萄酒。在這個(gè)空間中，距離較近的點(diǎn)表示具有相似單詞或概念的葡萄酒，而距離較遠(yuǎn)的點(diǎn)則沒有太多共同之處。余弦距離被定義為連接每個(gè)葡萄酒在嵌入空間中位置與原點(diǎn)之間的線之間的夾角的余弦值。

一幅可視化圖將使這更加直觀。

在左邊，兩種葡萄酒（Reserve White和Toscana Red）在詞匯和概念上幾乎沒有共同之處，因此它們的余弦距離接近零（在向量空間中它們是正交的）。在右邊，來自納帕谷的兩種Zinfandel葡萄酒有更多的共同之處，因此它們的余弦相似度更接近1。極限情況下，余弦距離為1；當(dāng)然，在實(shí)際情況中，實(shí)際數(shù)據(jù)存在于更高維的向量空間中（除了葡萄酒的品種之外還有許多其他軸），無法在二維平面上可視化，但余弦相似度的原理仍然適用。

可擴(kuò)展的最近鄰搜索

一旦向量被生成并存儲(chǔ)，當(dāng)用戶提交一個(gè)搜索查詢時(shí)，相似性搜索的目標(biāo)是提供與輸入查詢向量最相似的前k個(gè)向量。再次，我們可以在簡(jiǎn)化的二維空間中可視化這一過程。

最簡(jiǎn)單的方法是使用所謂的k最近鄰（kNN）方法，將查詢向量與數(shù)據(jù)庫中的每個(gè)向量進(jìn)行比較。然而，隨著數(shù)據(jù)規(guī)模擴(kuò)大到數(shù)百萬（甚至數(shù)十億）個(gè)數(shù)據(jù)點(diǎn)，這種方法很快變得過于昂貴，因?yàn)樗璧谋容^次數(shù)與數(shù)據(jù)呈線性增長(zhǎng)關(guān)系。

近似最近鄰（ANN）

每個(gè)現(xiàn)有的向量數(shù)據(jù)庫都專注于通過一類稱為近似最近鄰（ANN）搜索的算法，使搜索在數(shù)據(jù)集的大小上高效無論如何。與在數(shù)據(jù)庫中的每個(gè)向量之間進(jìn)行詳盡比較不同，近似搜索會(huì)尋找最近鄰，從而在結(jié)果的準(zhǔn)確性上有一定的損失（可能并不總是返回真正的最近鄰），但使用ANN算法可以獲得巨大的性能提升。

索引

通過索引將數(shù)據(jù)存儲(chǔ)在向量數(shù)據(jù)庫中，索引是指創(chuàng)建稱為索引的數(shù)據(jù)結(jié)構(gòu)，通過快速縮小搜索空間來實(shí)現(xiàn)對(duì)向量的高效查找。通常使用的嵌入模型將向量存儲(chǔ)在維度約為10^2到103的范圍內(nèi)，而ANN算法則盡可能高效地在時(shí)間和空間上捕捉數(shù)據(jù)的實(shí)際復(fù)雜性。?在各種可用的向量數(shù)據(jù)庫中使用了許多索引算法，它們的詳細(xì)信息超出了本文的范圍（我將在以后的文章中學(xué)習(xí)這些）。但是為了參考，下面列出了其中一些算法。

• 倒排文件索引（IVF）

• 分層可導(dǎo)航小世界（HNSW）圖

• Vamana（在DiskANN實(shí)現(xiàn)中使用）

簡(jiǎn)而言之，最先進(jìn)的索引技術(shù)是由HNSW和Vamana等新算法實(shí)現(xiàn)的，但只有少數(shù)數(shù)據(jù)庫供應(yīng)商提供了Vamana的DiskANN實(shí)現(xiàn)（截至2023年）。

• Milvus

• Weaviate（正在進(jìn)行中…）

• LanceDB（正在進(jìn)行中…）

把它們放在一起

我們可以將上述所有想法結(jié)合起來，形成一個(gè)關(guān)于向量數(shù)據(jù)庫實(shí)際是什么的概念圖 。

對(duì)于從業(yè)者來說，每個(gè)數(shù)據(jù)庫供應(yīng)商如何實(shí)現(xiàn)可擴(kuò)展性（通過Kubernetes、分片、流式處理等）的具體細(xì)節(jié)并不重要 - 這取決于每個(gè)供應(yīng)商在延遲、成本和可擴(kuò)展性之間權(quán)衡的系統(tǒng)架構(gòu)。

存儲(chǔ)層和數(shù)據(jù)攝入

• 數(shù)據(jù)（存儲(chǔ)在本地或云端）經(jīng)過嵌入模型轉(zhuǎn)換為向量形式，并通過API網(wǎng)關(guān)攝入到向量數(shù)據(jù)庫的存儲(chǔ)層中。

• 數(shù)據(jù)在索引過程中進(jìn)行分區(qū)/分片，以實(shí)現(xiàn)可擴(kuò)展性和更快的查找。

• 查詢引擎與存儲(chǔ)層緊密集成，通過數(shù)據(jù)庫的ANN實(shí)現(xiàn)快速檢索最近鄰。

應(yīng)用程序?qū)?/strong>